搭建hadoop集群环境二：hadoop安装及配置

一、hadoop安装

推荐个清华的hadoop下载【官网下载太慢】：https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/

• 1、上传 hadoop3.0.0 到 /export/software
• 2、解压到 /export/server

tar -zxvf export/software/hadoop-3.3.0.tar.gz -C export/server/
查看 hadoop目录

• 3、hadoop目录的介绍
  

二、hadoop的配置

• 1、配置文件概述[3类]

配置文件目录： /export/server/hadoop-3.3.0/etc/hadoop
第一类：hadoop-env.sh ，配置java环境和HDFS、YARN的用户角色
第二类：xxx-core.xml , site是用户自定义配置，覆盖default中的默认配置

core-site.xml : 核心模块配置
hdfs-site.xml：hdfs文件模块配置
mapred-site.xml： mapreduce模块配置
yarn-site.xml：yarn模块配置

第三类：workers

• 2、第一类配置

vim hadoop-en.sh

# 文件最后添加
export JAVA_HOME=/export/server/jdk1.8.0_321               

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

• 3、第二类配置

vim core-site.xml ，设置在 configuration 内

<!-- 设置默认使用的文件系统 Hadoop文件支持file、HDFS、GFS、ali、Amazon云登文件系统 -->
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://node1:8020</value>
</property>

<!-- 设置Hadoop本地保存数据路径 -->
<property>
    <name>hadoop.tmp.dir</name>
    <value>/export/data/hadoop-3.3.0</value>
</property>

<!-- 设置HDFS web ui 用户身份 -->
<property>
    <name>hadoop.http.staticuser.user</name>
    <value>root</value>
</property>

<!-- 整合Hive用户代理设置 -->
<property>
    <name>hadoop.proxyuser.root.hosts</name>
    <value>*</value>
</property>
<property>
    <name>hadoop.proxyuser.root.groups</name>
    <value>*</value>
</property>

<!-- 文件垃圾桶保存时间  -->
<property>
    <name>fs.trash.interval</name>
    <value>1440</value>
</property>

vim hdfs-site.xml ，设置在 configuration 内

<!-- 设置SNN进程运行机器位置信息 -->
<property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>node2:9868</value>
</property>

vim mapred-site.xml ，设置在 configuration 内

<!-- 设置MR程序运行模式：yarn集群模式，local本地模式 -->
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

<!-- MR程序历史服务地址 -->
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>node1:10020</value>
</property>

<!-- MR程序历史服务器web地址 -->
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>node1:19888</value>
</property>

<property>
    <name>yarn.app.mapreduce.am.env</name>
    <value>HADOOP_MARRED_HOME=${HADOOP_HOME}</value>
</property>

<property>
    <name>mapreduce.map.env</name>
    <value>HADOOP_MARRED_HOME=${HADOOP_HOME}</value>
</property>

<property>
    <name>mapreduce.reduce.env</name>
    <value>HADOOP_MARRED_HOME=${HADOOP_HOME}</value>
</property>

vim yarn-site.xml，设置在 configuration 内

<!--设置YARN集群主角色运行机器位置  -->
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>node1</value>
</property>

<!--  -->
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuttle</value>
</property>

<!-- 是否将容器实施物理内存限制-->
<property>
    <name>yarn.nodemanager.pmem-check-enabled</name>
    <value>false</value>
</property>

<!-- 是否将容器实施虚拟内存限制 -->
<property>
    <name>yarn.nodemanager.vmem-chek-enabled</name>
    <value>false</value>
</property>

<!-- 开启日志聚集 -->
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>

<!-- 设置yarn历史服务器地址 -->
<property>
    <name>yarn.log.server.url</name>
    <value>http://node1:19888/jobhistory/logs</value>
</property>

<!-- 设置历史日志保存 7天 -->
<property>
    <name>yarn.log-aggregation.retaion-seconds</name>
    <value>604800</value>
</property>

• 3、第三类

vim workers

node1.adeaven.com
node2.adeaven.com
node3.adeaven.com

三、同步配置其他服务器

> #切换目录
> cd /export/server
> #scp命令同步
> scp -r hadoop-3.3.0 root@node2:$PWD
> scp -r hadoop-3.3.0 root@node3:$PWD

四、配置hadoop环境变量

vim /etc/profile

# 将hadoop添加到环境变量（三台）
vim /etc/profile

# java环境变量后面
export HADOOP_HOME=/export/server/hadoop-3.3.0
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

# 刷新配置文件
source /etc/profile
# 通过scp 同步给其他两台,同步完，也需要，执行 source /etc/profile 哦
scp  -r /etc/profile root@node2:/etc/
scp  -r /etc/profile root@node3:/etc/

五、测试hadoop

输入命令 hadoop ，提示如下内容，则恭喜你配置成功！

六、写在最后

下一篇：hadoop的初始化