特殊问题
ntr亚丝娜(我永远喜欢千花书记)
?(。ヘ°)我的人工智能不可能这么智障ψ(*`ー´)ψ
展开
-
在IDEA中spark(enableHiveSupport)中使用 insert overwrite时对空表可以正常写入但是如果表不为空就会报错处理方法
spark特殊问题 在IDEA中spark(enableHiveSupport)中使用 insert overwrite时对空表可以正常写入但是如果表不为空就会报错处理方法 在网上看到不少回答都是答非所问,或者说更改Project Structre下Modules项目中的Language level 为6 - @Override in interfaces也没用 现象分析与解决方法 1.idea无...原创 2019-01-15 00:17:18 · 1545 阅读 · 0 评论 -
Windows黑窗口l连(HDFS)无响应,IDEA连Hbas也是长时间无响应,但可以在网页端正常访问HDFS
使用该方法时,请确认您已经尝试在网上搜索到的其他方法均无效后,再使用本方法 导致该问题原因有很多,我的原因是,win10系统的环境变量与注册列表缺少相关配置,因为我的Windows10是家庭版的!解决方法升级到win10专业版后,重置电脑!!!注意是重装系统后重置系统,这是两个步骤,如果你已经是win10专业版则直接重置系统即可!!!因为win10家庭版升级成专业版后会保留原有系统配置!!...原创 2019-01-15 09:15:39 · 175 阅读 · 0 评论 -
在CDH上执行比较复杂的spark或sparkstreaming时,hdfs的空间明显变小,到最后甚至导致hdfs空间不足,无法执行spark任务!!
代码没有写入的hdfs的语句,但是hdfs空间莫名变小 前言 上面这个问题,足足困扰了我两天的时间,期间我改过代码,清空过hdfs回收站,设置hdfs日志大小,甚至还以为是本身空间小,扩充了挂载点的容量,但都无法解决。而这问题日益严重最终导致我hdfs空间被占用达到97%!然后spark直接宕机。 分析 实际上原因确实是来自日志,由于我sparkstreaming的比较繁琐,生成日志非常的大,...原创 2019-09-04 17:49:44 · 370 阅读 · 0 评论