目录
一.Win10下Hadoop环境搭建
传送门:《windows10下配置hadoop2.8.5超详细过程》
二.准备hadoop插件
这里有2种方式,一种是从github上下载大神们写好的源码,在安装之前,需要用maven进行编译;另一种是直接下载现成的(o(╥﹏╥)o,自行编译时出错,暂未解决bug,找了个现成的_,亲测可用)
来一波传送门~
github待编译版下载传送门:https://github.com/fangyuzhong2016/HadoopIntellijPlugin
百度云现成版下载传送门:https://pan.baidu.com/s/1OHfa4OjbhyRPo2hBL56Kcg
提取码:c3u2
石墨烯文档现成版传送门:https://shimo.im/docs/rrGk96v8kvrxJGC9/ 《免编译版idea中hadoop插件》,可复制链接后用石墨文档 App 或小程序打开
关于源码的编译,大神在readme.md中介绍已经很清楚了,在此,我摘录如下:
step1:更改pom.xml
打开pom.xml配置hadoop版本和idea安装位置
在pom中做2件事,修改版本号,修改安装位置
step2:执行命令
- 在这个地方输入cmd (图片来自于参考链接2)
- 在cmd中
mvn clean
- 成功编译的标志是:可以看到build succeed(图片来自于参考链接2)
然而,我遇到了如下问题:
要学会看后面的信息,这里是说,setting.xml中161行的标签没对应上,改掉就好了。
如果也是出现了Non-parseable settings这个报错,但后面不是标签不对应这个错,可以参照下面的链接:
https://blog.csdn.net/taiyangdao/article/details/79499546
然后执行这个命令
mvn assembly:assembly
成功的标志:build success
问题2:
我在执行第二个命令的时候遇到了这样的报错,有可能是因为设置了阿里镜像的缘故,但由于执行时间过长,我未能重新设置镜像,再次实验,直接寻找了现成编译好的。
step3:编译成功后
- 在解压的目录离会出现target文件(图片来自于参考链接2)
- 打开它会发现有一个zip文件,这个zip文件就是我们需要的。(图片来自于参考链接2)
三.在idea中配置插件
step1:打开idea
step2:在文件中打开setting
step3:打开插件配置
选择刚刚插件所在的目录
然后点击确定
然后就会发现这个地方多了一个hadoop的选项,点击设置
然后进行配置,最后点击确定
在hadoop选项卡下面可以点击hadoop文件系统
step4:打开cmd,输入start-dfs.cmd,打开hdfs
这个地方,我打开了全部,通过jps查看,必须要有NameNode和DataNode
step5:右键刚刚新建的连接,点击连接
step6:连接成功后,可以看到目录
连接成功后,就能看到hdfs文件系统下的文件啦~~