在windows上配置运行hadoop及其遇到的问题

最新推荐文章于 2024-09-14 22:07:12 发布

weixin_34226182

最新推荐文章于 2024-09-14 22:07:12 发布

阅读量194

点赞数

文章标签：大数据操作系统 python

原文链接：https://my.oschina.net/u/270821/blog/77299

版权

2019独角兽企业重金招聘Python工程师标准>>>

我的小系统有三台计算机，我的hadoop、cygwin都安装在d盘的。。在windows xp系统中，通过cygwin软件，运行hadoop。在配置、格式化hadoop的Namenode都没有问题，在系统正常启动后能在浏览器看到Namenode和MapReduce的信息（hdp8:50037和hdp8：50070），每台计算机都正常工作。显示livenode ：3.但是在运行mapred的wordcount任务时却不能运行。

具体问题如下：hadoop@hdp8 /cygdrive/d/hadoop
$ bin/hadoop dfs -put ./wordcount input（记得在ubuntu下。这步完成后有提示的，现在没有）

hadoop@hdp8 /cygdrive/d/hadoop
$ bin/hadoop jar hadoop-0.20.2-examples.jar wordcount input output
12/07/24 12:51:07 INFO input.FileInputFormat: Total input paths to process : 3
12/07/24 12:51:08 INFO mapred.JobClient: Running job: job_201207241242_0001
12/07/24 12:51:09 INFO mapred.JobClient: map 0% reduce 0%
12/07/24 12:51:24 INFO mapred.JobClient: Task Id : attempt_201207241242_0001_m_000025_0, Status : FAILED
java.io.FileNotFoundException: File D:/tmp/hadoop-SYSTEM/mapred/local/taskTracker/jobcache/job_201207241242_0001/attempt_201207241242_0001_m_000025_0/work/tmp does not exist.（提示文件缺损。找了下的却没有，该怎么处理）

有人提示说没有设置tmp文件。具体目录根据需要设定 hadoop.tmp.dir是用的系统的临时目录，一重启就全丢了。旧版本在Linux下需要改core-site.xml增加一个配置项。在设置了tmp文件后，依然不能运行任务，请问问题出在哪里~

转载于:https://my.oschina.net/u/270821/blog/77299