Hadoop的搭建流程

---

一、配置IP

vi /etc/sysconfig/network-scripts/ifcfg-ens33

BOOTPROTO=“dbcp” 修改为 BOOTPROTO=“static”

IPADDR="192.168.187.128"
NETMASK="255.255.255.0"
GATEWAY="192.168.187.2"
DNS1="114.114.114.114"
DNS2="8.8.8.8"

systemctl restart network  #重启网卡

二、配置主机名

vi /etc/hostname

三、配置主机映射

vi /etc/hosts

修改完重启一下：reboot

四、关闭防火墙

systemctl stop firewalld

五、配置免密

ssh-keygen -t rsa   #生成公钥和私钥
ssh-copy-id node01    #将公钥传递给你想免密登录的电脑,比如node01，也可以传给自己

六、安装jdk

1、第一步：

mkdir -p /opt/modules     --以后存放安装包
mkdir -p /opt/installs    --以后存放解压后的软件

2、第二步：

tar -zxvf jdk-8u321-linux-x64.tar.gz -C /opt/installs  //解压
进入文件夹 cd /opt/installs
进行重命名 mv jdk1.8.0_171 jdk

3、第三步：

vi /etc/profile
export JAVA_HOME=/opt/installs/jdk
export PATH=$PATH:$JAVA_HOME/bin

在文件的最后追加，不要删除别人的任何配置。

4、第四步：

source /etc/profile

5、第五步：

java -version

七、安装hadoop

1、上传

2、解压

   tar -zxvf hadoop-3.3.1.tar.gz -C /opt/installs/

3、重命名

   cd /opt/installs/
   mv hadoop-3.3.1 hadoop

4、开始配置环境变量

   vi /etc/profile
export JAVA_HOME=/opt/installs/jdk
export HADOOP_HOME=/opt/installs/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

5、刷新配置文件

   source /etc/profile

6、验证hadoop命令是否可以识别

   hadoop version

八、全分布搭建

环境准备⼯作：
1、安装了jdk
2、设置host映射
3、免密登录
4、第一台安装了hadoop
5、关闭了防⽕墙
systemctl status firewalld
6、修改linux的⼀个安全机制
vi /etc/selinux/config
修改⾥⾯的 SELINUX=disabled

7、修改配置文件core-site.xml

路径：/opt/installs/hadoop/etc/hadoop/core-site.xml

<configuration>

    <!--hdfs的配置-->
    <!-- 设置namenode节点 -->
    <!-- 注意: hadoop1.x时代默认端⼝9000 hadoop2.x时代默认端⼝8020 hadoop3.x时 代默认端⼝ 9820 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://node01:9820</value>
    </property>
    <!-- hdfs的基础路径，被其他属性所依赖的⼀个基础路径 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/installs/hadoop/tmp</value>
    </property>
    
</configuration>

8、修改配置文件hdfs-site.xml

路径：/opt/installs/hadoop/etc/hadoop/hdfs-site.xml

<configuration>


    <!--hdfs的配置-->
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <!--secondarynamenode守护进程的http地址：主机名和端⼝号。参考守护进程布局 -->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>node02:9868</value>
    </property>
    <!-- namenode守护进程的http地址：主机名和端⼝号。参考守护进程布局 -->
    <property>
        <name>dfs.namenode.http-address</name>
        <value>node01:9870</value>
    </property>
    
    
</configuration>

9、修改配置文件hadoop-env.sh

路径：/opt/installs/hadoop/etc/hadoop/hadoop-env.sh

export JAVA_HOME=/opt/installs/jdk
<-- Hadoop3中，需要添加如下配置，设置启动集群⻆⾊的⽤户是谁-->
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

10、修改配置文件workers

路径：/opt/installs/hadoop/etc/hadoop/workers

node01
node02
node03

11、修改完了第一台的配置文件，开始分发到其他两台上去。

xsync.sh /opt/installs/hadoop

12、拷贝环境变量：

xsync.sh /etc/profile

刷新环境变量

source /etc/profile

13、在主节点 格式化namenode

hdfs namenode -format

14、只在第一台启动hdfs
start-dfs.sh

九、启动后的jps进程：

节点进程：
node01
NameNode，DataNode
node02
SecondaryNameNode，DataNode
node03
DataNode