运行hadoop程序结果文件大小为0

最新推荐文章于 2023-04-20 11:27:06 发布

j3smile

最新推荐文章于 2023-04-20 11:27:06 发布

阅读量3.3k

点赞数

分类专栏： hadoop 文章标签： hadoop output input parsing file 防火墙

本文链接：https://blog.csdn.net/j3smile/article/details/7309337

版权

在Eclipse中运行Hadoop程序时，遇到了输出文件大小为0的问题。日志显示任务完成，但Map和Reduce输入输出记录均为0，且文件仅能复制到0个节点。初步怀疑与防火墙或DataNode未启动有关，但检查防火墙和端口发现并非该问题。最终通过重启Hadoop服务解决问题。

摘要由CSDN通过智能技术生成

在eclipse运行hadoop程序，显示：

12/03/01 09:22:31 INFO jvm.JvmMetrics: Initializing JVM Metrics with processName=JobTracker, sessionId=
12/03/01 09:22:31 WARN mapred.JobClient: Use GenericOptionsParser for parsing the arguments. Applications should implement Tool for the same.
12/03/01 09:22:31 WARN mapred.JobClient: No job jar file set. User classes may not be found. See JobConf(Class) or JobConf#setJar(String).
12/03/01 09:22:32 INFO input.FileInputFormat: Total input paths to process : 1
12/03/01 09:22:32 INFO mapred.JobClient: Running job: job_local_0001
12/03/01 09:22:32 INFO input.FileInputFormat: Total input paths to process : 1
12/03/01 09:22:32 INFO mapred.MapTask: io.sort.mb = 100
12/03/01 09:22:32 INFO mapred.MapTask: data buffer = 79691776/99614720
12/03/01 09:22:32 INFO mapred.MapTask: record buffer = 262