又折腾了大半天,只解决了一半的问题吧。
[b]已经解决部分:[/b]
可以通过web查看运行job的systemout及其他信息
访问地址http://ip:50030,找到相应job往下查即可。
最后有
通过查询hadoop官方文档,集群搭建部分可以看到logging部分,有关hadoop的日志配置信息。
[b]未解决部分:[/b]在map或者reduce函数上写io将一些必要信息进行落地成文本,可执行成功,但文件未能参见也未能写入信息,io具体写法如下:
在windows eclipse远程连linux hadoop运行环境下没能写入文件。经过其他人其他测试环境下成功。不知道本环境为何不成功(本环境所有东西都装在root用户下,包括java环境)。求高手帮我看看。
[color=red]终于解决了。io写的目录与运行的mapreduce有关,在哪个node上运行的,输出将会在哪个目录。所以没有在name节点上
同样了job日志也此。若配置一下hadoop.job.history.location 或者hadoop.log.dir可否将日志调整到name节点上,还没测试过[/color]
[b]已经解决部分:[/b]
可以通过web查看运行job的systemout及其他信息
访问地址http://ip:50030,找到相应job往下查即可。
最后有
stdout logs hello world!
信息。即为systemout输出信息。
通过查询hadoop官方文档,集群搭建部分可以看到logging部分,有关hadoop的日志配置信息。
[b]未解决部分:[/b]在map或者reduce函数上写io将一些必要信息进行落地成文本,可执行成功,但文件未能参见也未能写入信息,io具体写法如下:
File dir = new File("/root/bin/qiulp");
if (!dir.exists()) {
dir.mkdir();
}
File file = new File("/root/bin/qiulp/log.txt");
BufferedWriter writer = new BufferedWriter(new FileWriter(file));
writer.write(valuses);
writer.close();
在windows eclipse远程连linux hadoop运行环境下没能写入文件。经过其他人其他测试环境下成功。不知道本环境为何不成功(本环境所有东西都装在root用户下,包括java环境)。求高手帮我看看。
[color=red]终于解决了。io写的目录与运行的mapreduce有关,在哪个node上运行的,输出将会在哪个目录。所以没有在name节点上
同样了job日志也此。若配置一下hadoop.job.history.location 或者hadoop.log.dir可否将日志调整到name节点上,还没测试过[/color]