Win10 IDEA连接虚拟机中的Hadoop集群(进来保你成)_idea连接虚拟机上hadoop集群(1)

本文详细介绍了如何在Windows上的IntelliJ IDEA中连接到虚拟机内的Hadoop集群,包括Hadoop集群的搭建、IDEA的环境配置、 Maven项目设置以及Java代码测试文件读取。确保Hadoop环境正确配置,如JAVA_HOME设置,并通过winutil.exe和hadoop.dll的放置以解决Windows与Hadoop的交互问题。
摘要由CSDN通过智能技术生成

idea连接Hadoop集群可以看idea连接本地虚拟机Hadoop集群运行wordcount - 徐春晖 - 博客园 (cnblogs.com)")

前提:

1.通过虚拟机完成了完全分布式Hadoop集群的搭建,在master节点中使用start-all.sh启动Hadoop集群,并使用jps得到下面的输出,表示Hadoop集群搭建成功。

当然也可以通过Hadoop提供的web界面查看,一般来说我们在浏览器中输入http://192.168.xx.101:50070访问。(注意:有的时候我们确实能够跳转到该界面,但是我们还需要查看datanode是否正常运行,因为存在这样的情况,datanode配置失败,但是Hadoop集群也能成功启动,但是后面的文件操作是无法正常运行的)

点击Datanodes出现上面的界面表示配置好了Hadoop集群。

2.安装好了IDEA开发工具

实现:

在window上配置好Hadoop

1.下载hadoop-2.7.7.tar.gz文件到window。各版本Hadoop,我选择的是2.7.7

Hadoop是跨平台的,不用担心Linux与windows不兼容,但是需要注意的是在hadoop-2.7.7/etc/hadoop/hadoop-env.sh中JAVA_HOME需要修改为window下jdk的路径。

2. 选择一个空目录将hadoop-2.7.7.tar.gz解压

3. 将hadoop-2.7.7添加到环境变量中

变量名:HADOOP_HOME

变量值:E:\xx\xx\xx\hadoop-2.7.7 (先看下面的图再复制)

%JAVA_HOME%\bin

%JAVA_HOME%\jre\bin(先看下面的图再复制)

4.使用命令行查看环境变量是否配置成功

hadoop version

5.安装jdk(JDK 8 所有版本

解压到目录中,添加环境变量(和Hadoop配置相似,可以上去再看一下)

变量名:JAVA_HOME

变量值:E:\ProgramSoftware\java\JAVAHOME\jdk1.8.0_162

变量值:%JAVA_HOME%\bin

变量值:%JAVA_HOME%\jre\bin

使用java -version、javac验证(注意上面bin以及\jre\bin都要配置&#

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值