![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
集群故障处理记录
Levy胖胖
这个作者很懒,什么都没留下…
展开
-
集群进入安全模式 故障案例01
安全模式 是NN启动的时候 锁定edits日志文件,并开始检查数据块信息。此时集群只能执行读操作而不能执行写操作,当检查结束的时候就会退出安全模式,然后集群就能正常使用了 但是有一种情况,就是NN配置项中的 dfs.namenode.dir所在的目录 所在的磁盘如果满了,那就无法增加操作记录,NN也无法执行更新目录操作,所以此时是不能退出安全模式的 ...原创 2019-03-16 15:51:21 · 286 阅读 · 0 评论 -
DD分区是为了减少shuffle中数据混洗
,就把show限制去掉,不过如果有10g内容的话建议写入到文件,写入可以使用分区,这样查询会比较快 RDD分区是为了减少shuffle中数据混洗 导致的大量网络消耗,你的这个程序是没有混洗操作,所以在执行过程中不需要分区 建议处理步骤: 1、读取数据 2、创建临时表 3、在临时表中查询数据–已经查到,放入result 4、将数据写回HDFS:result…write().partitionBy(“...原创 2019-03-16 18:17:09 · 142 阅读 · 0 评论