hadoop伪分布式搭建

1.修改$HADOOP_HOME/etc/hadoop/core-site.xml

<!-- 修改hdfs nameNode节点 -->
<property>
	<name>fs.defaultFS</name>
	<value>hdfs://127.0.0.1:9000</value>
</property>

<!-- 修改hadoop临时文件存储目录-->
<property>
	<name>hadoop.temp.dir</name>
  <value>$HADOOP_HOME/data/tmp</value>
</property>

2.修改$HADOOP_HOME/etc/hadoop/hadoop-env.sh中的JAVA_HOME路径

3.修改yarn-site.xml 指定副本数量

<!-- 指定HDFS副本的数量 -->
<property>
  <name>dfs.replication</name>
  <value>1</value>
</property>

4.指定mapreducer以yarn运行

1.修改 mapred-env.sh JAVA_HOME路径地址
 
2.修改 mapred-site.xml  添加节点
<!-- 指定MR运行在YARN上 -->
<property>
  <name>mapreduce.framework.name</name>
   <value>yarn</value>
</property>

 2.修改 yarn-site.xml  添加节点
<!-- Reducer获取数据的方式 -->
<property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
</property>

<!-- 指定YARN的ResourceManager的地址 -->
 <property>
    <name>yarn.resourcemanager.hostname</name>
     <value>hadoop101</value>
 </property>

初始化namenode

hdfs namenode -format

启动namenode

sbin/hadoop-daemon.sh start namenode

启动datanode

sbin/hadoop-daemon.sh start datanode

启动resourceManager

sbin/yarn-daemon.sh start resourcemanager

启动nodeManager

sbin/yarn-daemon.sh start nodemanager

运行mapreducer-examples

1.上传文件到datanode
hdfs dfs -mkdir -p /test/input
hdfs dfs -put test.txt /test/input
2.运行程序
hadoop jar /share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /test/input/test.txt /test/output
3.查看运行结果
hdfs dfs -cat /test/output/part-r-00000
4.删除运行结果
hdfs dfs -rm -r /test	/output