2021-03-14

1 hadoop的安装

一、我们的配置文件是这样的：

export JAVA_HOME=/usr/local/src/jdk
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/bin/dt.jar:$JAVA_HOME/lib/tools.jar

二、安装hadoop

三、 hadoop集群配置

1） 修改配置文件进入/usr/local/src/Hadoop/etc/Hadoop/下修改配置文件
修改hadoop-env.sh文件
添加 export JAVA_HOME=/usr/local/src/jdk
2） 修改core-site.xml文件

          configuration
             property
                namefs.defaultFSname
	valuehdfs://master:9000/value
(或者value>hdfs://192.168.121.140:9000/value)
        property
      property
                name>hadoop.tmp.dirname
                value/usr/local/src/hadoop/tmpvalue
        property
configuration

上面的主机名或IP，大家换成自己的即可, 另外注意:临时目录如果不存在,请先手动mkdir 创建一个。
3） 修改 hdfs-site.xml

<configuration>
         <property>
                <name>dfs.replication</name>
                <value>3</value>
        </property>
        <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>slave1:50090</value>
        </property>
</configuration>

4） 修改mapred-site.xml文件

#mv mapred-site.xml.template mapred-site.xml
<configuration>
<!-- 指定MapReduce运行时框架，这里指定在Yarn上，默认是local -->
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
</configuration>

5） 修改yarn-site.xml

<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

6. 修改slaves文件
   master
   slave1
   slave2

2 将jdk、hadoop文件夹复制到其他节点
完成Hadoop集群主节点master的配置后，还需要将系统环境配置文件、JDK安装目录和Hadoop安装目录分发到其他子节点slave1和slave2上，具体指令：
将jdk、hadoop文件夹复制到其他节点
#scp –r /usr/local/src/jdk slave1:/usr/local/src
#scp –r /usr/local/src/jdk slave2:/usr/local/src
#scp –r /usr/local/src/hadoop slave1:/usr/local/src
#scp –r /usr/local/src/hadoop slave2:/usr/local/src

3将配置文件分发到其他子节点
• 将/etc/profile文件复制到其他节点
#scp /etc/profile slave1:/etc
#scp /etc/profile slave2:/etc

4 在其他子节点上执行source /etc/profile
使生效。

四 格式化文件系统及启动测试

hdfs namenode-format

8088端口是yarn状态
三台主机要
可以关闭节点的防火墙：systemctl stop firewalld
禁止开机启动防火墙： systemctl disable firewalld
查看防火墙：systemctl status firewalld
开启防火墙
systemctl start firewalld