Hadoop集群搭建

解压Hadoop：

tar -zxvf hadoop-3.3.5.tar.gz -C /export/server/

修改配置文件

vi /etc/profile
#在文件末尾添加
export HADOOP_HOME=/export/server/hadoop-3.3.5
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
刷新配置文件
source /etc/profile

查看hadoop是否安装成功

搭建集群

进入配置文件目录：cd /export/server/hadoop-3.3.5/etc/hadoop/

修改hadoop-env.sh文件

cd /export/server/hadoop/etc/hadoop/

vim hadoop-env.sh

export JAVA_HOME=/export/server/jdk1.8.0_241/

#文件最后添加: 

export HDFS_NAMENODE_USER=root

export HDFS_DATANODE_USER=root

export HDFS_SECONDARYNAMENODE_USER=root

export YARN_RESOURCEMANAGER_USER=root

export YARN_NODEMANAGER_USER=root

cd /export/server/hadoop/etc/hadoop/

vim core-site.xml

在文件的configuration的标签中添加以下内容:

    <property>

        <name>fs.defaultFS</name>

        <value>hdfs://node1:8020</value>

    </property>

    <property>

        <name>hadoop.tmp.dir</name>

        <value>/export/data/hadoop</value>

    </property>

    <!-- 设置HDFS web UI用户身份 -->

    <property>

        <name>hadoop.http.staticuser.user</name>

        <value>root</value>

    </property>

    <!-- 整合hive -->

    <property>

        <name>hadoop.proxyuser.root.hosts</name>

        <value>*</value>

    </property>

    <property>

        <name>hadoop.proxyuser.root.groups</name>

        <value>*</value>

    </property>

vim hdfs-site.xml

在文件的configuration的标签中添加以下内容:

    <!-- 指定secondarynamenode运行位置 -->

    <property>

        <name>dfs.namenode.secondary.http-address</name>

        <value>node2:50090</value>

    </property>

vim mapred-site.xml

在文件的configuration的标签中添加以下内容:

    <property>

        <name>mapreduce.framework.name</name>

        <value>yarn</value>

    </property>

    <property>

        <name>yarn.app.mapreduce.am.env</name>

        <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>

    </property>

    <property>

        <name>mapreduce.map.env</name>

        <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>

    </property>

    <property>

        <name>mapreduce.reduce.env</name>

        <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>

    </property>

vim yarn-site.xml

在文件的configuration的标签中添加以下内容:

    <!-- 指定YARN的主角色（ResourceManager）的地址 -->

    <property>

        <name>yarn.resourcemanager.hostname</name>

        <value>node1</value>

    </property>

    <!-- NodeManager上运行的附属服务。需配置成mapreduce_shuffle，才可运行MapReduce程序默认值："" -->

    <property>

        <name>yarn.nodemanager.aux-services</name>

        <value>mapreduce_shuffle</value>

    </property>

    <!-- 是否将对容器实施物理内存限制 -->

    <property>

        <name>yarn.nodemanager.pmem-check-enabled</name>

        <value>false</value>

    </property>

    <!-- 是否将对容器实施虚拟内存限制。 -->

    <property>

        <name>yarn.nodemanager.vmem-check-enabled</name>

        <value>false</value>

    </property>

    <!-- 开启日志聚集 -->

    <property>

        <name>yarn.log-aggregation-enable</name>

        <value>true</value>

    </property>

    <!-- 设置yarn历史服务器地址 -->

    <property>

        <name>yarn.log.server.url</name>

        <value>http://node1:19888/jobhistory/logs</value>

    </property>

    <!-- 保存的时间7天 -->

    <property>

        <name>yarn.log-aggregation.retain-seconds</name>

        <value>604800</value>

    </property>

vim workers

清空内容后, 添加以下内容:

node1

node2

node3

cd /export/server

scp -r hadoop-3.3.5/ node2:$PWD

scp -r hadoop-3.3.5/ node3:$PWD

初始化节点：hadoop namenode -format

启动脚本：start-all.sh

停止脚本：stop-all.sh

 

web查看集群：