Hadoop安装一套完结

HADOOP安装Linux单机版

下载Hadoop

Hadoop3.xx下载地址：http://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/

通过FTP上传至Linux

解压缩软件

tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

配置HADOOP环境变量

创建自定义配置文件

vim /etc/profile.d/my_env.sh

配置HADOOP_HOME环境变量

# HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

使配置生效

source /etc/profile

HADOOP本地运行

创建测试文件

mkdir wcinput
cd wcinput
vim word.txt
# 输入如下测试内容
hadoop yarn
hadoop mapreduce
czs
czs
# 保存退出:wq

执行测试文件

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount wcinput/ wcoutput

查看结果

HADOOP安装Linux集群版

编写集群分发脚本

scp安全拷贝

• scp 可以实现服务器与服务器之间的数据拷贝。
• 基本语法：scp -r $pdir/$fname $user@$host:$pdir/$fname
• 例子：scp -r /opt/module/jdk1.8.0_212 root@hadoop103:/opt/module

rscp

• rsync 主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点
• 用 rsync 做文件的复制要比 scp 的速度快，rsync 只对差异文件做更新。scp 是把所有文件都复制过去
• 基本语法rsync -av $pdir/$fname $user@$host:$pdir/$fname -a：归档拷贝 -v：显示复制过程
• 例子：rsync -av hadoop-3.1.3/ root@hadoop103:/opt/module/hadoop-3.1.3/

xscp

通过脚本方式，同步文件

期望脚本在任何路径都能使用（脚本放在声明了全局环境变量的路径）

在/home/root/bin目录下创建xsync文件，脚本代码如下vim xsync

#!/bin/bash
#1. 判断参数个数
if [ $# -lt 1 ]
then
 echo Not Enough Arguement!
 exit;
fi 
#2. 遍历集群所有机器
for host in hadoop102 hadoop103 hadoop104
do
 echo ==================== $host ====================
 #3. 遍历所有目录，挨个发送
 for file in $@
 do
 #4. 判断文件是否存在
 if [ -e $file ]
 then
 #5. 获取父目录
 pdir=$(cd -P $(dirname $file); pwd)
 #6. 获取当前文件的名称
 fname=$(basename $file)
 ssh $host "mkdir -p $pdir"
 rsync -av $pdir/$fname $host:$pdir
 else
 echo $file does not exists!
 fi
 done
done

修改脚本的可执行权限chmod 777 xsync

配置集群中ssh免密登录

普通ssh连接登录

基本语法：ssh 另一台电脑的 IP 地址

生成公钥和私钥

命令：ssh-keygen -t rsa，然后敲（三个回车），就会生成两个文件 id_rsa（私钥）、id_rsa.pub（公钥）

将公钥拷贝到要免密登录的目标机器上

命令：ssh-copy-id 目标机器IP

Hadoop集群配置

集群部署规划

• NameNode和SecondaryNameNode不要安装在同一台服务器
• ResourceManager也很消耗内存，不要和NameNode、SecondaryNameNode配置在同一台机器上。

配置文件说明

Hadoop配置文件分两类：默认配置文件和自定义配置文件，只有用户想修改某一默认配置值时，才需要修改自定义配置文件，更改相应属性值。

默认配置文件：

自定义配置文件：

• core-site.xml
• hdfs-site.xml
• yarn-site.xml
• mapred-site.xml
• 四个配置文件存放在 $HADOOP_HOME/etc/hadoop 这个路径上，用户可以根据项目需求重新进行修改配置。

Hadoop集群配置核心

核心配置文件：core-site.xml

# 修改自定义配置文件
vim core-site.xml

<!-- 文件内容如下 -->
<configuration>
    <!-- 指定NameNode的地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop102:8020</value>
    </property>

    <!-- 指定hadoop数据的存储目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop-3.1.3/data</value>
    </property>

    <!-- 配置HDFS网页登录使用的静态用户为root -->
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>root</value>
    </property>

    <!-- 配置该root(superUser)允许通过代理访问的主机节点 -->
    <property>
        <name>hadoop.proxyuser.root.hosts</name>
        <value>*</value>
    </property>

    <!-- 配置该root(superUser)允许通过代理用户所属组 -->
    <property>
        <name>hadoop.proxyuser.root.groups</name>
        <value>*</value>
    </property>

    <!-- 配置该root(superUser)允许通过代理的用户-->
    <property>
        <name>hadoop.proxyuser.root.users</name>
        <value>*</value>
    </property>
</configuration>

HDFS配置文件：hdfs-site.xml

# 修改自定义配置文件
vim hdfs-site.xml

<!-- 文件内容如下 -->
<configuration>
    <!-- nn web端访问地址-->
    <property>
        <name>dfs.namenode.http-address</name>
        <value>hadoop102:9870</value>
    </property>

    <!-- 2nn web端访问地址-->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop104:9868</value>
    </property>

    <!-- 测试环境指定HDFS副本的数量1 -->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

YARN配置文件：yarn-site.xml

# 修改自定义配置文件
vim yarn-site.xml

<!-- 文件内容如下 -->
<configuration>
    <!-- 指定MR走shuffle -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

    <!-- 指定ResourceManager的地址-->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop103</value>
    </property>

    <!-- 环境变量的继承 -->
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>

    <!-- yarn容器允许分配的最大最小内存 -->
    <property>
        <name>yarn.scheduler.minimum-allocation-mb</name>
        <value>512</value>
    </property>
    <property>
        <name>yarn.scheduler.maximum-allocation-mb</name>
        <value>4096</value>
    </property>

    <!-- yarn容器允许管理的物理内存大小 -->
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>4096</value>
    </property>

    <!-- 关闭yarn对虚拟内存的限制检查 -->
    <property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
    </property>
</configuration>

MapReduce配置文件：mapred-site.xml

# 修改自定义配置文件
vim mapred-site.xml

<configuration>
	<!-- 指定 MapReduce 程序运行在 Yarn 上 -->
 	<property>
 		<name>mapreduce.framework.name</name>
 		<value>yarn</value>
 	</property>
</configuration>

配置workers

• 该文件中添加的内容结尾不允许有空格，文件中不允许有空行。

集群同步所有节点配置文件

启动Hadoop集群

初始格式化

• 如果集群是第一次启动，需要在hadoop102节点格式化NameNode，生成data和logs目录，说明格式化成功

• 格式化NameNode，会产生新的集群id，导致NameNode和DataNode的集群id不一致，集群找不到已往数据。如果集群在运行过程中报错，需要重新格式化NameNode的话，一定要先停止namenode和datanode进程，并且要删除所有机器的data和logs目录，然后再进行格式化

  格式化命令：hdfs namenode -format

启动HDFS

命令：sbin/start-dfs.sh

如果报如上错误是因为缺少用户定义造成的，

解决方式一：可以在配置文件中加入如下配置

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

解决方式二：分别编辑开始和关闭脚本，在顶部空白处添加内容，重新启动即可

$ vim sbin/start-dfs.sh
$ vim sbin/stop-dfs.sh

HDFS_DATANODE_USER=root  
HDFS_DATANODE_SECURE_USER=hdfs  
HDFS_NAMENODE_USER=root  
HDFS_SECONDARYNAMENODE_USER=root 

同理，如果yarn.sh启动报错，也添加如下配置：

$ vim sbin/start-yarn.sh
$ vim sbin/stop-yarn.sh

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

修改配置之后，删除data和logs目录，重新格式化NameNodehdfs namenode -format

在配置了NameNode的节点，启动HDFS：sbin/start-dfs.sh

在配置了 ResourceManager 的节点，启动YARN：sbin/start-yarn.sh

Web端查看HDFS的NameNode，浏览器访问http://hadoop102:9870/

WEB端查看YARN的ResourceManager ，浏览器访问http://hadoop103:8088/

集群基本功能测试

上传文件到集群

命令：hadoop fs -put 文件地址 集群目录地址

hadoop fs -put wcinout/word.txt /input

执行wordcount程序

命令：hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount 源目录 目标目录

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output

如果报错如下，则需配置如下到mapred-site.xml，Hadoop的家目录，重启集群即可

<property>
  <name>yarn.app.mapreduce.am.env</name>
  <value>HADOOP_MAPRED_HOME=/opt/module/hadoop-3.1.3</value>
</property>
<property>
  <name>mapreduce.map.env</name>
  <value>HADOOP_MAPRED_HOME=/opt/module/hadoop-3.1.3/</value>
</property>
<property>
  <name>mapreduce.reduce.env</name>
  <value>HADOOP_MAPRED_HOME=/opt/module/hadoop-3.1.3/</value>
</property>

配置历史服务器

为了查看程序的历史运行情况，需要配置一下历史服务器。

配置mapred-site.xml

# 修改自定义配置文件
vim mapred-site.xml

<!-- 添加文件内容如下 -->
<configuration>
    <!-- 历史服务器端地址 -->
    <property>
     <name>mapreduce.jobhistory.address</name>
     <value>hadoop102:10020</value>
    </property>
    <!-- 历史服务器 web 端地址 -->
    <property>
     <name>mapreduce.jobhistory.webapp.address</name>
     <value>hadoop102:19888</value>
    </property>
</configuration>

集群分发配置

xsync mapred-site.xml

在NameNode服务器上启动历史服务器

mapred --daemon start historyserver

查看历史服务器是否启动

jps

浏览器访问http://hadoop102:19888/jobhistory

配置日志的聚集

日志聚集概念：应用运行完成以后，将程序运行日志信息上传到 HDFS 系统上。

日志聚集功能好处：可以方便的查看到程序运行详情，方便开发调试。

开启日志聚集功能，需要重新启动 NodeManager 、ResourceManager 和 HistoryServer。

配置yarn-site.xml

在NameNode服务器上配置如下

# 修改自定义配置文件
vim yarn-site.xml

<!-- 添加文件内容如下 -->
<configuration>
    <!-- 开启日志聚集功能 -->
    <property>
     <name>yarn.log-aggregation-enable</name>
     <value>true</value>
    </property>
    <!-- 设置日志聚集服务器地址 -->
    <property> 
     <name>yarn.log.server.url</name> 
     <value>http://hadoop102:19888/jobhistory/logs</value>
    </property>
    <!-- 设置日志保留时间为 7 天 -->
    <property>
     <name>yarn.log-aggregation.retain-seconds</name>
     <value>604800</value>
    </property>
</configuration>

集群分发配置

xsync yarn-site.xml

重启 NodeManager 、ResourceManager 和 HistoryServer

# 关闭
sbin/stop-yarn.sh 
mapred --daemon stop historyserver
# 启动
sbin/start-yarn.sh 
mapred --daemon start historyserver

删除并重新执行wordcount程序查看日志

历史服务器地址http://hadoop102:19888/jobhistory

2NN页面不能显示完整信息

修改配置信息

cd /opt/module/hadoop-3.1.3/share/hadoop/hdfs/webapps/static/
vim dfs-dust.js
set nu
# 修改61行
return new Date(Number(v)).toLocaleString();

分发修改文件到集群

xsync dfs-dust.js

集群启动/停止方式总结

各个模块分开启动/停止（配置 ssh 是前提）常用

整体启动/停止 HDFS

start-dfs.sh/stop-dfs.sh

整体启动/停止 YARN

start-yarn.sh/stop-yarn.sh

各个服务组件逐一启动/停止

分别启动/停止 HDFS 组件

hdfs --daemon start/stop namenode/datanode/secondarynamenode

启动/停止 YARN

yarn --daemon start/stop resourcemanager/nodemanager

编写Hadoop集群常用脚本

Hadoop 集群启停脚本（包含 HDFS，Yarn，Historyserver）：myhadoop.sh

cd /root/bin
vim myhadoop.sh

脚本代码如下

#!/bin/bash
if [ $# -lt 1 ]
then
 echo "No Args Input..."
 exit ;
fi
case $1 in
"start")
 echo " =================== 启动 hadoop 集群 ==================="
 echo " --------------- 启动 hdfs ---------------"
 ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/start-dfs.sh"
 echo " --------------- 启动 yarn ---------------"
 ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/start-yarn.sh"
 echo " --------------- 启动 historyserver ---------------"
 ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon start historyserver";;
"stop")
 echo " =================== 关闭 hadoop 集群 ==================="
 echo " --------------- 关闭 historyserver ---------------"
 ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon stop historyserver"
 echo " --------------- 关闭 yarn ---------------"
 ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/stop-yarn.sh"
 echo " --------------- 关闭 hdfs ---------------"
 ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/stop-dfs.sh";;
*)
 echo "Input Args Error...";;
esac

赋予脚本执行权限

chmod +x myhadoop.sh 

集群分发，保证自定义脚本在集群机器上都可以使用

xsync myhadoop.sh

编写查看集群服务器Java进程脚本

cd /root/bin
vim jpsall.sh

脚本代码如下

#!/bin/bash
for host in hadoop102 hadoop103 hadoop104
do
 echo =============== $host ===============
 ssh $host jps 
done

赋予脚本执行权限

chmod +x jpsall.sh 

集群分发，保证自定义脚本在集群机器上都可以使用

xsync jpsall.sh

HADOOP优化

HDFS存储多目录

给Linux系统增加一块新硬盘

Linu系统磁盘操作_xiaoyixiao_的博客-CSDN博客

解决新挂载磁盘的访问权限问题

在hdfs-site.xml文件中配置多目录，注意新挂载磁盘的访问权限问题
HDFS的DataNode节点保存数据的路径由dfs.datanode.data.dir参数决定，其默认值为file://${hadoop.tmp.dir}/dfs/data，若服务器有多个磁盘，必须对该参数进行修改。如服务器磁盘如上图所示，则该参数应修改为如下的值

<property>
    <name>dfs.datanode.data.dir</name>
	<value>file:///dfs/data1,file:///hd2/dfs/data2,file:///hd3/dfs/data3,file:///hd4/dfs/data4</value>
</property>

注意：因为每台服务器节点的磁盘情况不同，所以这个配置配完之后，不需要分发

集群数据均衡

节点间数据均衡

开启数据均衡命令

start-balancer.sh -threshold 10

对于参数10，代表的是集群中各个节点的磁盘空间利用率相差不超过10%，可根据实际情况进行调整

停止数据均衡命令

stop-balancer.sh

注意：于HDFS需要启动单独的Rebalance Server来执行Rebalance操作，所以尽量不要在NameNode上执行start-balancer.sh，而是找一台比较空闲的机器。

磁盘间数据均衡

生成均衡计划

只有一块磁盘，不会生成计划

hdfs diskbalancer -plan hadoop103

执行均衡计划

hdfs diskbalancer -execute hadoop103.plan.json

查看当前均衡任务的执行情况

hdfs diskbalancer -query hadoop103

取消均衡任务

hdfs diskbalancer -cancel hadoop103.plan.json

HADOOP支持LZO压缩配置

hadoop-lzo编译

hadoop本身并不支持lzo压缩，故需要使用twitter提供的hadoop-lzo开源组件。hadoop-lzo需依赖hadoop和lzo进行编译

环境准备

maven（下载安装，配置环境变量，修改sitting.xml加阿里云镜像）
gcc-c++
zlib-devel
autoconf
automake
libtool
通过yum安装即可，yum -y install gcc-c++ lzo-devel zlib-devel autoconf automake libtool

下载、安装并编译LZO

wget http://www.oberhumer.com/opensource/lzo/download/lzo-2.10.tar.gz

tar -zxvf lzo-2.10.tar.gz

cd lzo-2.10

./configure -prefix=/usr/local/hadoop/lzo/

make

make install

编译hadoop-lzo源码

1 下载hadoop-lzo的源码，下载地址：https://github.com/twitter/hadoop-lzo/archive/master.zip
2 解压之后，修改pom.xml
  <hadoop.current.version>3.1.3</hadoop.current.version>
3 声明两个临时环境变量
   export C_INCLUDE_PATH=/usr/local/hadoop/lzo/include
   export LIBRARY_PATH=/usr/local/hadoop/lzo/lib 
4 编译
  进入hadoop-lzo-master，执行maven编译命令
  mvn package -Dmaven.test.skip=true
5 进入target，hadoop-lzo-0.4.21-SNAPSHOT.jar 即编译成功的hadoop-lzo组件

将编译好后的lzo放入${HADOP_HOME}/share/hadoop/common/

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-dqKUmPFY-1646555680959)(…/AppData/Roaming/Typora/typora-user-images/image-20220301102843842.png)]

配置文件core-site.xml增加lzo压缩支持

同步集群配置

<configuration>
    <property>
        <name>io.compression.codecs</name>
        <value>
        org.apache.hadoop.io.compress.GzipCodec,
        org.apache.hadoop.io.compress.DefaultCodec,
        org.apache.hadoop.io.compress.BZip2Codec,
        org.apache.hadoop.io.compress.SnappyCodec,
        com.hadoop.compression.lzo.LzoCodec,
        com.hadoop.compression.lzo.LzopCodec
        </value>
    </property>

    <property>
        <name>io.compression.codec.lzo.class</name>
        <value>com.hadoop.compression.lzo.LzoCodec</value>
    </property>
</configuration>

测试压缩

重启集群

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount -Dmapreduce.output.fileoutputformat.compress=true -Dmapreduce.output.fileoutputformat.compress.codec=com.hadoop.compression.lzo.LzopCodec  /input /output

HADOOP创建LZO索引

创建LZO文件的索引

LZO压缩文件的可切片特性依赖于其索引，故需要手动为LZO压缩文件创建索引。若无索引，则LZO文件的切片只有一个

hadoop jar /path/to/your/hadoop-lzo.jar com.hadoop.compression.lzo.DistributedLzoIndexer big_file.lzo

测试索引

未索引执行wordcount

# 执行wordcount
hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount -Dmapreduce.job.inputformat.class=com.hadoop.mapreduce.LzoTextInputFormat /input /output1

配置索引后执行wordcount

# 配置索引
hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/common/hadoop-lzo-0.4.20.jar  com.hadoop.compression.lzo.DistributedLzoIndexer /input/bigtable.lzo

# 执行wordcount
hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount -Dmapreduce.job.inputformat.class=com.hadoop.mapreduce.LzoTextInputFormat /input /output2

报错处理

Container [pid=8468,containerID=container_1594198338753_0001_01_000002] is running 318740992B beyond the 'VIRTUAL' memory limit. Current usage: 111.5 MB of 1 GB physical memory used; 2.4 GB of 2.1 GB virtual memory used. Killing container.
Dump of the process-tree for container_1594198338753_0001_01_000002 :

解决办法：在hadoop102的/opt/module/hadoop-3.1.3/etc/hadoop/yarn-site.xml文件中增加如下配置，然后分发到hadoop103、hadoop104服务器上，并重新启动集群

<!--是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认是true -->
<property>
   <name>yarn.nodemanager.vmem-check-enabled</name>
   <value>false</value>
</property>

HADOOP参数调优

HDFS参数调优-配置文件hdfs-site.xml

The number of Namenode RPC server threads that listen to requests from clients. If dfs.namenode.servicerpc-address is not configured then Namenode RPC server threads listen to requests from all nodes.
NameNode有一个工作线程池，用来处理不同DataNode的并发心跳以及客户端并发的元数据操作。
对于大集群或者有大量客户端的集群来说，通常需要增大参数dfs.namenode.handler.count的默认值10。
<property>
    <name>dfs.namenode.handler.count</name>
    <value>10</value>
</property>

dfs.namenode.handler.count=，比如集群规模为8台时，此参数设置为，可以根据python代码计算

YARN参数调优-yarn-site.xml

总共7台机器，每天几亿条数据，数据源->Flume->Kafka->HDFS->Hive

面临问题：数据统计主要用HiveSQL，没有数据倾斜，小文件已经做了合并处理，开启的JVM重用，而且IO没有阻塞，内存用了不到50%。但是还是跑的非常慢，而且数据量洪峰过来时，整个集群都会宕掉。基于这种情况有没有优化方案。

NodeManager内存和服务器实际内存配置尽量接近，如服务器有128g内存，但是NodeManager默认内存8G，不修改该参数最多只能用8G内存。NodeManager使用的CPU核数和服务器CPU核数尽量接近。

• NodeManager使用内存数：yarn.nodemanager.resource.memory-mb
• NodeManager使用CPU核数：yarn.nodemanager.resource.cpu-vcores