首先下载hadoop.tar.gz
官网地址http://hadoop.apache.org/releases.html
我是用的是hadoop-2.7.6.tar.gz
继续下载
hadooponwindows-master.zip
可以自行百度,或私信我
需要安装java jdk配置JAVA_HOME 自行查找
资源准备就绪 开始搭建
配置HADOOP_HOME与JAVA_HOME同样配置方式
将 hadooponwindows-master.zip解压后的\bin目录 完全覆盖hadoop-2.7.6\bin目录
下列文件均在 hadoop-2.7.6\etc\hadoop下
core-site.xml 配置如下
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/E:/bigDateSoft/workplace/tmp</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/E:/bigDateSoft/workplace/name</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
mapred-site.xml 配置如下(如果找不到mapred-site.xml 通过修改mapred-site.xml.template 将.template删除掉获得)
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapred.job.tracker</name>
<value>hdfs://localhost:9001</value>
</property>
</configuration>
hdfs-site.xml 配置如下
<configuration>
<!-- 这个参数设置为1,因为是单机版hadoop -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/E:/bigDateSoft/workplace/data</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/E:/bigDateSoft/workplace/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/E:/bigDateSoft/workplace/data</value>
</property>
</configuration>
yarn-site.xml 配置如下
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>
hadoop-env.cmd
防止出现问题
JAVA_HOME直接指定绝对路径 @rem是注释修饰符
@rem set JAVA_HOME=%JAVA_HOME%
@rem set JAVA_HOME=C:\Program Files\Java\jdk1.8.0_101set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_101
因为Program Files中间有空格,无法识别所以使用PROGRA~1代替
初始化hdfs
hdfs namenode -format
进入sbin目录启动项目
start-all.cmd
(打包jar后无法在spark内运行)
打开jar包
打开META-INF目录,将*.SF,*.DSA,*.RSA文件删除