本地机通过idea连接虚拟机hdfs
环境:CentOS7.5 hadoop2.7.5 ideal2021.3.1(win版)
1 检查虚拟机与宿主机是否能够互相ping
虚拟机需要使用nat网络适配方法,关于vm虚拟机的三种网络适配方法详解,大家可以参考下面的链接:https://blog.csdn.net/qq_40893525/article/details/122247133。
为了使虚拟机和宿主机能够互相ping,需要在vm ware的虚拟网络编辑器中进行编辑,其中子网ip、vm8网卡ip和网关需要在同一网段下。同时虚拟机的ip需要更改为与vm8的ip地址前3位相同(前3位指的是以点进行分割后的前三位)。最终结果如下:
2 windows安装idea并安装插件Big Data Tools
idea大家可以到官网上下载,下载地址:https://www.jetbrains.com.cn/idea/download/#section=windows
idea的安装为傻瓜式操作,一直确定-等待-确定即可。
idea安装完后,需要在settings-Plugins中安装Big Data Tools插件
插件安装完成后,idea主界面右边会出现Big Data Tools的选项栏。
3 宿主机解压hadoop2.7.5和winutils
将虚拟机中hadoop2.7.5的包解压到自己想要喜欢的目录下,然后下载对应版本的winutils,下载地址为:https://github.com/steveloughran/winutils/tree/master,hadoop2.7.5版本可以对应winutils2.7.1。
将winutils中对应hadoop文件夹下所有文件夹或文件全部拷贝到hadoop目录下。
4 配置宿主机中hadoop的系统变量和环境变量
5 idea连接hdfs
虚拟机中使用stall-all.sh启动hdfs。
idea中使用Big Data Tools连接hdfs,测试连接之后就可以点击OK进行连接了。