Hadoop环境搭建（4）

Hadoop的伪分布式部署

1.配置集群

修改第一个配置

在/opt/module/hadoop-3.1.3/etc/hadoop目录下设置hadoop-env.sh文件

cd /opt/module/hadoop-3.1.3/etc/hadoop
vi hadoop-env.sh

命令模式下搜做JAVA_HOME

export JAVA_HOME=/opt/module/jdk1.8.0_212

修改第二个配置

在/opt/module/hadoop-3.1.3/etc/hadoop目录下设置core-site.xml文件

cd /opt/module/dadoop-3.1.3/etc/hadoop
vi core-site.xml

修改第三个配置

在/opt/module/hadoop-3.1.3/etc/hadoop目录下设置hdfs-site.xml

cd /opt/module/hadoop-3.1.3/etc/hadoop
vi hdfs-site.xml

在configuration中指定HDFS的数量

<configuration>
<!-- 指定HDFSf副本的数量 -->
<property>
          <name>dfs.repication</name>
          <value>1</value>
</property>
</configuration>

2.启动集群

格式化namenode

hdfs namenode -format

启动

hdfs --daemon start namenode
hdfs --daemon start datanode

输入jps 命令查看进程
显示namenode、datanode进程就算成功
3、配置yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
<!-- Reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 指定YARN的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop100</value>	# hadoop100为自己的主机名
</property>
 <property>
  <name>yarn.nodemanager.env-whitelist</name>        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
 </property>

4、配置mapred-site.xml

vi mapred-site.xml

<configuration>
<!-- 指定MR运行在YARN上 -->
<property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
</property>
</configuration>

5、启动resourcemanager

yarn --daemon start resourcemanager

6、启动nodemanager

yarn --daemon start nodemanager