Ubuntu搭建Hadoop3.2.1详细步骤 （二）Hadoop集群配置

Ubuntu搭建Hadoop3.2.1详细步骤 （二）Hadoop集群配置

上篇文章中的ssh配置的结果是，在master机上能够随心登陆任意一台虚拟机。这篇文章讲述的是如何编写hadoop的配置文件。

注意：如果你的hadoop不是放在home目录的话，无法使用图形界面方式编辑。可以采用 sudo nano +路径 的方式编辑。

master配置文件编写

(我会将slave的配置文件上传到网盘，文章末尾有链接。)

进入hadoop目录下的etc的文件夹

下面是core-site.xml的代码：

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value><!--这里的“master”不管是master机还是slave机都是master-->
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/wy/hadoop-3.2.1/tmp</value><!--这里改成你对应的路径 -->
</property>
</configuration>

下面是hdfs-site.xml的代码：

<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/home/wy/hadoop-3.2.1/dfs/name</value><!--这里改成你对应的路径 -->
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/home/wy/hadoop-3.2.1/dfs/data</value><!--这里改成你对应的路径 -->
</property>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>master:9001</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
<property>
<property>
 <name>dfs.namenode.datanode.registration.ip-hostname-check</name>
 <value>false</value>
</property>
<name>dfs.http.address</name>
<value>0.0.0.0:50070</value>
</property>
</configuration>

下面是mapered-site.xml的代码：

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

<property>
  <name>yarn.app.mapreduce.am.env</name>
  <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>
<property>
  <name>mapreduce.map.env</name>
  <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>
<property>
  <name>mapreduce.reduce.env</name>
  <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>
</configuration>

更改worker文件

将里面的文件内容替换成：
slave1
slave2
master

下面是yarn-site.xml的代码:

<configuration>
<property> 
<name>yarn.nodemanager.aux-services</name> 
<value>mapreduce_shuffle</value> 
</property>
<property> 
<name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name> 
<value>org.apache.hadoop.mapred.ShuffleHandler</value> 
</property> 
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>
<property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>2048</value>

</property>

<property>
    <name>yarn.resourcemanager.address</name>
    <value>master:8032</value>
  </property>
  <property>
    <name>yarn.resourcemanager.scheduler.address</name>
    <value>master:8030</value>
  </property>
  <property>
    <name>yarn.resourcemanager.resource-tracker.address</name>
    <value>master:8031</value>
  </property>
<property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>20480</value>
</property>
<property>
   <name>yarn.scheduler.minimum-allocation-mb</name>
   <value>2048</value>
</property>
<property>
    <name>yarn.nodemanager.vmem-pmem-ratio</name>
    <value>2.1</value>
</property>
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>master</value>
</property>
<property>
    <name>yarn.application.classpath</name><!--这里的值在终端中调用： hadoop classpath 将获得的值替换掉value部分   -->
    <value>/home/wy/hadoop-3.2.1/etc/hadoop:/home/wy/hadoop-3.2.1/share/hadoop/common/lib/*:/home/wy/hadoop-3.2.1/share/hadoop/common/*:/home/wy/hadoop-3.2.1/share/hadoop/hdfs:/home/wy/hadoop-3.2.1/share/hadoop/hdfs/lib/*:/home/wy/hadoop-3.2.1/share/hadoop/hdfs/*:/home/wy/hadoop-3.2.1/share/hadoop/mapreduce/lib/*:/home/wy/hadoop-3.2.1/share/hadoop/mapreduce/*:/home/wy/hadoop-3.2.1/share/hadoop/yarn:/home/wy/hadoop-3.2.1/share/hadoop/yarn/lib/*:/home/wy/hadoop-3.2.1/share/hadoop/yarn/*</value>
</property>
</configuration>

最后一步

在hadoop-env.sh中添加java的路径（这里写你自己的路径）：
export JAVA_HOME=/home/wy/jdk1.8.0_231

编译并验证

在终端中输入如下指令：
hadoop namenode -format

注意：如果不是第一次执行该指令建议先删除hadoop下的dfs和tmp文件夹。

slave的配置文件链接：链接：https://pan.baidu.com/s/1lkMpQ1yS7g_dhfKz63ybFA
提取码：2043
复制这段内容后打开百度网盘手机App，操作更方便哦
你将配置文件中的上面改过的几个文件下的一些路径改成自己电脑的路径就可以直接使用。

启动集群

在/home/hadoop-3.2.1/sbin目录下运行一下代码：
./start-all.sh

我这里只开了起了slave1机所以会报错，因为你还没有配置slave机所以都会报错。
首先用jps确认一下：
master:

slave1:

master的50070端口

在浏览器中输入 master:50070

我这里只开了一台slave，所以显示存在的datanode为2。没有开启slave的话是1。如果你slave也配置好了并开启成功的话，datanode肯定是大于1的。

master的8088端口

我这里只开了一台slave，所以显示存在Cluster Nodes Metrics 为2。没有开启slave的话是1。如果你slave也配置好了并开启成功的话，datanode肯定是大于1的。