hadoop使用过程中的一些小技巧

hadoop使用过程中的一些小技巧

--------------------------------------------------------------------------------
1.在Eclipse下的hadoop mapred调试
对于小数据量的调试，可以再本机下载并安装cywin，之后将cywin的bin目录添加到系统的Path环境变量中，将hadoop的core包添加到classpath中。此时就可以在Eclipse下调试你的mapred程序，这时hadoop是在local模式下运行的，如果把hadoop的源代码关联进来，你还可以在他的内部处理中设置断点。

2. master重启出问题

之前使用hadoop过程中遇到过几次由于任务执行过程中，某些slave宕机了，然后重启集群，master起不来，一直处在safe mode。查看原因是他一直在试图恢复大量的中间文件，但是此时这些文件已经不存在了。对于这种情况，可以删去他的redo日志，使集群能够快速的启动，当然，弊端是这些中间文件将被忽略。删除的办法是修改设置中的hadoop.tmp.dir的路径下的dfs/name/current/edits文件。

更多信息请查看 java进阶网 http://www.javady.com