hadoop jar包_IDEA+Hadoop开发环境配置与打包

• https://github.com/cdarlint/winutils，下载对应hadoop版本的winutils + hadoop.dll，并复制到bin目录下

• 建立maven工程，pom.xlm

  org.apache.hadoophadoop-common2.7.6org.apache.hadoophadoop-hdfs2.7.6org.apache.hadoophadoop-mapreduce-client-core2.7.6org.apache.hadoophadoop-mapreduce-client-jobclient2.7.6

• 导入hadoop依赖包：file-->Project Structure-->Modules-->+号-->导入hadoop安装目录下的share文件夹下的jar包，如图1.

• 

  图1

• 将集群中hadoop配置文件夹下的log4j.properties 和 core-site.xml和hdfs-site.xml下载到本地并复制到文件复制到项目resources目录。

• 启动集群：/home/yyl/hadoop/hadoop-2.7.6/sbin/start-dfs.sh

• 创建一个input文件夹：hdfs dfs -mkdir -p /input