想在window环境下调试hadoop源码,就得先把hadoop源码编译好,在此,推荐一位大神的:https://blog.csdn.net/feinifi/article/details/82895362 ,
他在github上挂出了编译好的hadoop2.7.0的window环境的hadoop,尤其是里面的关键文件很重要,我是在Centos下编译的hadoop源码,编译好导出来之后,发现导入IDEA后各种报错,在此记录几个,作为新手,记录一下。
1 导入IDEA后会下载各种jar包,所以在maven的settings内最好不要只配置一个中央仓库,我开始只配置的阿里,发现各种慢,后来又把华为的加上,才速度快了一些
2 然后就是要设置Dependencies,file-->Project Structure ,左侧点击Modules,中间选择hadoop-hdfs,然后设置其Dependencies,这时候会出现一个情况,无论设置什么,点击apply的时候都会报hadoop-yarn-server-resourcemanager,the root already belongs to moudule hadoop-streaming,我急眼了,直接把hadoop-yarn-server-resourcemanager删掉了,结果删掉之后OK了
3 可以设置Dependencies了,把Provided设置为Compile,Test的不用动,这样就是设置为可编译的了,如果不设置在启动的时候会报错说未定义各种class,其实都在文件内
4 这时候启动一下试试吧,结果报错,说Unable to load native-hadoop library for your platform... using builtin-java classes where applicable,缺少本地库的包,也就是hadoop.dll,网上搜了一下,最终找到上面发的那个前辈的博客,然后把里面的bin下面的hadoop.dll和winutils下载下来放到本地,并且配置到环境变量内,然后就可以正常启动调试了
IDEA导入Hadoop源码并且可以调试遇到的问题
最新推荐文章于 2023-01-29 11:08:30 发布