idea运行Sparkstreaming读取hdfs文件遇到的问题
先贴代码
idea中运行SparkStreaming时,动态添加文件至指定目录下,结果没有任务信息输出
问题原因:
①idea所在主机时间和hdfs集群时间不同步
②代码中指定的hdfs目录为非空(启动之前已经有文件)
解决办法
①将hdfs集群时间与主机时间进行同步
1 首先停掉hdfs集群的所有进程
2 关闭虚拟机
3 为每台虚拟机勾选 将客户机时间与主机同步(S)
4 重启虚拟机
5 启动集群 时间同步成功
②保证代码中指定的hdfs路径是空的或者路径不存在也可以,会自动创建
③以上两
原创
2020-08-25 20:08:31 ·
766 阅读 ·
0 评论