IDEA Maven Hadoop调试hdfs程序

• IDEA 远程调试 Hadoop

两大特色：一是采用maven的pom配置；二是直接连接hdfs:9000端口，无须另外在服务端配置参数。
其实内容包含了两种方式：本地与远程调试。这里仅仅只是使用远程的hdfs，相当于在使用远程的数据库，并未调试部署在远程的JAR包程序。这对于开发而言，已经能够满足开发环境的测试了。但是，在其它的帖子上锁看到设置服务端hadoop的启动脚本，并在其中开启jvm的debug接口之类的做法，不知在此是否也要进行设置。如果仅仅只是在本地跑程序看结果，而不需要去debug的话，那么这样应该是可以满足条件了的。如果是在本地Docker上，则更是方便了。

• Hadoop: Intellij结合Maven本地运行和调试MapReduce程序 (无需搭载Hadoop和HDFS环境)

这篇写的很nice，完整的demo程序。

下面是调试集群的：

• Intellij IDEA远程向hadoop集群提交mapreduce作业

转载于:https://www.cnblogs.com/ioveNature/p/8688388.html