the directory item limit is exceed: limit=1048576问题的解决
当spark流式数据分析处理跑了一段时间之后,突然会出现报错,如下:意思就是目录超过了HDFS的文件个数限制。然而这个问题网上真的不太好找,在定位一番之后,终于明确就是HDFS本身的容量限制问题,而这个正常在配置里面是没有的,只有新增加一行配置才能生效,否则就是按照默认的1048576来处理。 dfs.namenode.fs-limits.
原创
2016-07-07 17:29:56 ·
5475 阅读 ·
0 评论