hadoop完全分布式搭建

一、集群配置

注意：NameNode和SecondaryNameNode不要安装在同一台服务器

         （2NN备份元数据的，如果放在一台机器上，机器宕机元数据就拿不到）

         注意：ResourceManager也很消耗内存，不要和NameNode、SecondaryNameNode配置在同一台机器上。

1、核心配置文件

配置：hadoop-env.sh（在/opt/module/hadoop-3.1.3/etc/hadoop目录下）

Linux系统中获取JDK的安装路径：

[soft863@ hadoop100 ~]# echo $JAVA_HOME/opt/module/jdk1.8.0_212

在hadoop-env.sh文件中修改JAVA_HOME 路径：

（在第54行修改）

export JAVA_HOME=/opt/module/jdk1.8.0_212

配置core-site.xml

1. cd $HADOOP_HOME/etc/hadoop
2.
3. vim core-site.xml

文件内容如下：

<?xml version="1.0" encoding="UTF-8"?>
 
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
 
 
 
<configuration>
 
    <property>
 
        <name>fs.defaultFS</name>
 
        <value>hdfs://hadoop100:9820</value>
 
</property>
 
 
 
<!-- hadoop.data.dir是自定义的变量，下面的配置文件会用到 -->
 
    <property>
 
        <name>hadoop.data.dir</name>
 
       <value>/opt/module/hadoop-3.1.3/data</value>

  </property>
 
</configuration>

2、HDFS配置文件

配置hdfs-site.xml

vim hdfs-site.xml

文件内容如下：

<?xml version="1.0" encoding="UTF-8"?>
 
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
 
 
 
<configuration>
 
  <!-- namenode数据存放位置 -->
 
<property>
 
    <name>dfs.namenode.name.dir</name>
 
    <value>file://${hadoop.data.dir}/name</value>
 
  </property>
 
 
 
  <!-- datanode数据存放位置 -->
 
  <property>
 
    <name>dfs.datanode.data.dir</name>
 
    <value>file://${hadoop.data.dir}/data</value>
 
  </property>
 
 
 
  <!-- secondary namenode数据存放位置 -->
 
    <property>
 
    <name>dfs.namenode.checkpoint.dir</name>
 
    <value>file://${hadoop.data.dir}/namesecondary</value>
 
  </property>
 
 
 
  <!-- datanode重启超时时间是30s，解决兼容性问题，跳过 -->
 
  <property>
 
    <name>dfs.client.datanode-restart.timeout</name>
 
    <value><