hadoop伪分布式配置

配置集群

1.配置/opt/hadoop-2.7.7/etc/hadoop/core-site.xml文件

<!-- 指定HDFS中NameNode的地址 -->
<property>
<name>fs.defaultFS</name>
    <value>hdfs://hadoop101:9000</value>
</property>

<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
	<name>hadoop.tmp.dir</name>
	<value>/opt/hadoop-2.7.7/data/tmp</value>
</property>

2.配置/opt/hadoop-2.7.7/etc/hadoop/hdfs-site.xml文件

<!-- 指定HDFS副本的数量 -->
<property>
	<name>dfs.replication</name>
	<value>1</value>
</property>

3.配置/opt/hadoop-2.7.7/etc/hadoop/yarn-site.xml文件

<!-- Reducer获取数据的方式 -->
<property>
 		<name>yarn.nodemanager.aux-services</name>
 		<value>mapreduce_shuffle</value>
</property>

<!-- 指定YARN的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop101</value>
</property>

4.配置/opt/hadoop-2.7.7/etc/hadoop/mapred-env.sh文件

export JAVA_HOME=/opt/jdk1.8.0_181

5.配置/opt/hadoop-2.7.7/etc/hadoop/(对mapred-site.xml.template重新命名为) mapred-site.xml

mv mapred-site.xml.template mapred-site.xml	(重命名)


<!-- 指定MR运行在YARN上 -->
<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
</property>

启动集群

1.进入/opt/hadoop-2.7.7/sbin目录
启动前必须保证NameNode和DataNode已经启动
a.启动ResourceManager

./yarn-daemon.sh start resourcemanager

b.启动NodeManager

./yarn-daemon.sh start nodemanager

配置伪分布式完成

测试伪分布式

1.上传存在的测试文件到hdfs文件系统中

hadoop fs -put wcinput/ /

2.查看上传是否成功

hdfs fs -ls /

3.运行MapReduce程序

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /wcinput /output

4.可以用过页面查看文件，hadoop100:50070 查看