搭建hadoop集群

1）关闭防火墙（进行远程连接）
systemctl stop firewalld.service
systemctl -disable firewalld.service

2)永久修改设置主机名
vi /etc/hostname

3)配置映射文件
vi /etc/hosts
ip 主机名

4）配置jdk
5）配置免密登录
ssh-copy-id bigdata121
ssh-copy-id bigdata123

6)配置core-site.xml
这里配置主节点名:端口号

<configuration>
<property>
        <name>fs.defaultFS</name>
        <value>hdfs://bigdata121:9000</value>
</property>
</configuration>

7)配置hadoop-env.sh
主要指定jdk目录
export JAVA_HOME=/usr/local/jdk1.8.0_181

8)配置hdfs-site.xml

<configuration>
        <!--配置元数据存储位子  -->
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>/root/hd/dfs/name</value>
        </property>
        <!-- 配置数据存储的位置-->
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>/root/hd/dfs/data</value>
        </property>
        <!--备用namenode的节点配置 -->
         <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>bigdata122:50070</value>
        </property>
        <!-- block副本的数量配置-->
        <property>
                <name>dfs.replication</name>
                <value>3</value>
        </property>
 <!-- block大小配置-->
        <property>
                <name>dfs.blocksize</name>
                <value>134217728</value>
        </property>        
</configuration>

9)格式化namenode：hadoop namenode -format
这步生成初始的edits fsimage文件

10)分发hadoop到其他主机
scp hadoop bigdata122:/root/
11)分发环境变量
scp /etc/profile bigdata122:/etc/
12)启动集群
在主节点namenode和备用节点secondarynamenode配置salve文件 里面写上所有datanode的节点的主机名
bigdata123
bigdata124
start-dfs.sh启动所有节点
stop-dfs.sh关闭所有节点

测试集群是否成功，在网页中查看
http://192.168.252.121:50070