win10操作虚拟机中hadoop IntelliJ IDEA直接运行代码(不需要打jar包)

IntelliJ IDEA 2018.2.3 (Ultimate Edition)+Maven
VMware中CentOS6.5
Hadoop2.7.1

上课的时候老师使用的是Eclipse编译器,使用了 eclipse-hadoop的插件。可以直接在eclipse里运行,省去了先生成jar再发送的虚拟机中执行的过程。

由于编译器IDEA没有这种插件所以自己在网上找了一些帖子,对编译器进行配置,达到的效果是可以直接在IDEA中运行MapperReducer等代码并查看代码报错,但是不可以看到hdfs上的文件夹结构(可以在里浏览器使用虚拟机ip50070端口查看),也不可以查看文件内容,只是免去了一直生成jar包的繁琐过程如果大家有可以在idea中可视化文件结构的方法或者其他补充欢迎在下面留言

下面介绍一下操作流程和我遇到的错误:

操作流程

下载对应的Hadoop包
在win10环境变量中添加hadoop包所在的路径(winutils.exe一定要在,其他不确定必不必要)

环境变量怎么找?打开windows的设置然后搜索环境变量,之后在高级设置中打开就可以看到了。
这里写图片描述
找到之后,在用户或者系统环境变量中添加HOME_HADOOP(名字可以自己起)
这里写图片描述
然后在Path中添加%HADOOP_HOME%\bin
这里写图片描述
注意这里\bin是因为我的winutils.exe和hadoop.dll文件在hadoop所在路径的\bin目录下。这个路径要能找到winutils.exe和hadoop.dll文件就可以了。

然后把hadoop.dll文件复制到C:\Windows\System32下(需要管理员权限),然后重启电脑,因为修改了环境变量要给系统一个重新认识自己的过程。

在Maven项目的POM文件中添加hadoop和junit的dependencies如下

<dependencies>
        
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值