idea连接Hadoop集群可以看idea连接本地虚拟机Hadoop集群运行wordcount - 徐春晖 - 博客园 (cnblogs.com)")
前提:
1.通过虚拟机完成了完全分布式Hadoop集群的搭建,在master节点中使用start-all.sh启动Hadoop集群,并使用jps得到下面的输出,表示Hadoop集群搭建成功。
当然也可以通过Hadoop提供的web界面查看,一般来说我们在浏览器中输入http://192.168.xx.101:50070访问。(注意:有的时候我们确实能够跳转到该界面,但是我们还需要查看datanode是否正常运行,因为存在这样的情况,datanode配置失败,但是Hadoop集群也能成功启动,但是后面的文件操作是无法正常运行的)
点击Datanodes出现上面的界面表示配置好了Hadoop集群。
2.安装好了IDEA开发工具
实现:
在window上配置好Hadoop
1.下载hadoop-2.7.7.tar.gz文件到window。各版本Hadoop,我选择的是2.7.7
Hadoop是跨平台的,不用担心Linux与windows不兼容,但是需要注意的是在hadoop-2.7.7/etc/hadoop/hadoop-env.sh中JAVA_HOME需要修改为window下jdk的路径。
2. 选择一个空目录将hadoop-2.7.7.tar.gz解压
3. 将hadoop-2.7.7添加到环境变量中
变量名:HADOOP_HOME
变量值:E:\xx\xx\xx\hadoop-2.7.7 (先看下面的图再复制)
%JAVA_HOME%\bin
%JAVA_HOME%\jre\bin(先看下面的图再复制)
4.使用命令行查看环境变量是否配置成功
hadoop version
5.安装jdk(JDK 8 所有版本)
解压到目录中,添加环境变量(和Hadoop配置相似,可以上去再看一下)
变量名:JAVA_HOME
变量值:E:\ProgramSoftware\java\JAVAHOME\jdk1.8.0_162
变量值:%JAVA_HOME%\bin
变量值:%JAVA_HOME%\jre\bin
使用java -version、javac验证(注意上面bin以及\jre\bin都要配置&#