Hadoop集群的搭建

目录

一.基本环境配置

二.修改hadoop配置文件（cd /usr/local/hadoop/etc/hadoop/）

三.将hadoop传输至其他节点

四.hadoop名称节点格式化

五.启动hadoop

六.关闭hadoop

---

hadoop资源：

链接：https://pan.baidu.com/s/1BdyYO_IRPSmvD4cNjUGo0A 
提取码：q0o8 

一.基本环境配置

1.上传hadoop解压包并解压至/usr/local/

tar -zxvf hadoop-2.6.0.tar.gz

2.重命名hadoop

mv hadoop-2.6.0 hadoop

3.配置hadoop环境变量（所有节点，且已配置java环境变量）

vi /etc/profile  或   vi ~/.bashrc

/etc/profile为所有的用户设置系统范围的环境变量和启动顺序。

~/.bashrc  只对某一用户生效。

添加内容：

保存退出并生效环境变量：

source /etc/profile

二.修改hadoop配置文件（cd /usr/local/hadoop/etc/hadoop/）

1.修改core-site.xml文件

添加内容如下：

<configuration>
<property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:8020</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop/tmp</value>
    </property>
</configuration>

2.修改yarn-site.xml文件

添加内容如下：

<configuration>
<property>
       <name>yarn.resourcemanager.hostname</name>
       <value>master</value>
   </property>
   <property>
       <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
   </property>
</configuration>

3.修改mapred-site.xml

复制一份该文件

添加内容如下：

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

4.修改hdfs-site.xml文件

添加内容如下：

<configuration>

 <property>
        <name>dfs.namenode.http-address</name>
        <value>master:50070</value>
    </property>

    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>master:50090</value>
    </property>

    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>

    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/name</value>
    </property>

    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/data</value>
    </property>

</configuration>

 

5.修改slaves文件

修改内容如下：

有几个次节点就添加已有次节点的主机名

6.修改hadoop-env.sh文件

修改内容如下：

三.将hadoop传输至其他节点

更换传输对象只需更改slave1为其他主机名即可，也可以为其他节点的IP。

四.hadoop名称节点格式化

hdfs namenode -format 或hadoop namenode -format

主节点：

五.启动hadoop

主节点：

start-all.sh（可以用start-dfs.sh 和 start-yarn.sh启动，都要执行）

1.查看hadoop的启动进程

jps

master：

slave1：

slave2:

若进程和以上所示一致，则表示hadoop安装成功。

2.利用浏览器查看hadoop的web端

由于要访问虚拟机的IP，需要关闭虚拟机的防火墙。

systemctl stop firewalld

访问：

出现该页面表示成功。

六.关闭hadoop

主节点执行：

stop-all.sh（可以用stop-dfs.sh 和 stop-yarn.sh启动，都要执行）

 

七.查看hadoop版本