IDEA导入Hadoop源码并且可以调试遇到的问题

	想在window环境下调试hadoop源码,就得先把hadoop源码编译好,在此,推荐一位大神的:https://blog.csdn.net/feinifi/article/details/82895362 ,
	他在github上挂出了编译好的hadoop2.7.0的window环境的hadoop,尤其是里面的关键文件很重要,我是在Centos下编译的hadoop源码,编译好导出来之后,发现导入IDEA后各种报错,在此记录几个,作为新手,记录一下。
	1 导入IDEA后会下载各种jar包,所以在maven的settings内最好不要只配置一个中央仓库,我开始只配置的阿里,发现各种慢,后来又把华为的加上,才速度快了一些
	2 然后就是要设置Dependencies,file-->Project Structure ,左侧点击Modules,中间选择hadoop-hdfs,然后设置其Dependencies,这时候会出现一个情况,无论设置什么,点击apply的时候都会报hadoop-yarn-server-resourcemanager,the root already belongs to moudule hadoop-streaming,我急眼了,直接把hadoop-yarn-server-resourcemanager删掉了,结果删掉之后OK了
	3 可以设置Dependencies了,把Provided设置为Compile,Test的不用动,这样就是设置为可编译的了,如果不设置在启动的时候会报错说未定义各种class,其实都在文件内
	4 这时候启动一下试试吧,结果报错,说Unable to load native-hadoop library for your platform... using builtin-java classes where applicable,缺少本地库的包,也就是hadoop.dll,网上搜了一下,最终找到上面发的那个前辈的博客,然后把里面的bin下面的hadoop.dll和winutils下载下来放到本地,并且配置到环境变量内,然后就可以正常启动调试了
  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值