数仓采集项目【03数仓采集模块之hadoop安装及项目经验】

最新推荐文章于 2023-02-17 06:14:07 发布

OneTenTwo76

最新推荐文章于 2023-02-17 06:14:07 发布

阅读量376

点赞数

分类专栏：数仓采集项目文章标签： hadoop big data hdfs

本文链接：https://blog.csdn.net/weixin_43923463/article/details/124871748

版权

数仓采集项目专栏收录该内容

8 篇文章 3 订阅

订阅专栏

文章目录

一数据采集模块

一数据采集模块

1 常用脚本文件

（1）查看集群所有进程

#!/bin/bash
for i in hadoop101 hadoop102 hadoop103
do
  echo "====================> $i JPS <===================="
  ssh $i /opt/module/jdk1.8.0_212/bin/jps
done
#保存到~/bin
vim myjps
chmod u+x myjps
#查看进程在java中的全类名
jps -l

（2）通用脚本

#!/bin/bash
if [ $# -lt 1 ]
then
  echo "No Args Error!"
  exit;
fi

for i in hadoop101 hadoop102 hadoop103
do
  echo "====================> $i <===================="
  ssh $i "$*"
done

#调用脚本
xcall jps
xcall free -h

2 hadoop安装

（1）集群规划

	服务器hadoop101	服务器hadoop102	服务器hadoop103
HDFS	NameNode DataNode	DataNode	DataNode SecondaryNameNode
Yarn	NodeManager	Resourcemanager NodeManager	NodeManager

（2）安装步骤

#准备安装包，上传到hadoop101
#解压
tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/
#bin sbin目录下存储命令和脚本文件
#etc下存放配置文件
#share下存放hadoop所有的jar包
#lib存放本地库文件（存放着开发者提供的一些文件，相当于windows下的.dll文件，是一些环境）

#配置环境变量
#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
#查看是否安装成功
hadoop version

（3）配置集群

（a）core-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
<!-- 指定NameNode的地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop101:8020</value>
    </property>
    
<!-- 指定hadoop数据的存储目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop-3.1.3/data</value>
    </property>

<!-- 配置HDFS网页登录使用的静态用户为hike -->
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>hike</value>
    </property>

<!-- 配置该hike(superUser)允许通过代理访问的主机节点 -->
    <property>
        <name>hadoop.proxyuser.hike.hosts</name>
        <value>*</value>
    </property>
    
<!-- 配置该hike(superUser)允许通过代理用户所属组 -->
    <property>
        <name>hadoop.proxyuser.hike.groups</name>
        <value>*</value>
    </property>
    
<!-- 配置该hike(superUser)允许通过代理的用户-->
    <property>
        <name>hadoop.proxyuser.hike.users</name>
        <value>*</value>
    </property>
</configuration>

（b）hdfs-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
	<!-- nn web端访问地址-->
	<property>
        <name>dfs.namenode.http-address</name>
        <value>hadoop101:9870</value>
    </property>
    
	<!-- 2nn web端访问地址-->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop103:9868</value>
    </property>
    
    <!-- 测试环境指定HDFS副本的数量3 -->
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
</configuration>

（c）yarn-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
	<!-- 指定MR走shuffle -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    
    <!-- 指定ResourceManager的地址-->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop102</value>
    </property>
    
    <!-- 环境变量的继承 -->
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
  <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
    
    <!-- yarn容器允许分配的最大最小内存 -->
    <property>
        <name>yarn.scheduler.minimum-allocation-mb</name>
        <value>512</value>
    </property>
    <property>
        <name>yarn.scheduler.maximum-allocation-mb</name>
        <value>4096</value>
    </property>
    
    <!-- yarn容器允许管理的物理内存大小 -->
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>4096</value>
    </property>
    
    <!-- 关闭yarn对物理内存和虚拟内存的限制检查 -->
    <property>
        <name>yarn.nodemanager.pmem-check-enabled</name>
        <value>false</value>
    </property>
    <property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
    </property>
    
    <!-- 开启日志聚集功能 -->
    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>

    <!-- 设置日志聚集服务器地址 -->
    <property>  
        <name>yarn.log.server.url</name>  
        <value>http://hadoop101:19888/jobhistory/logs</value>
    </property>

    <!-- 设置日志保留时间为7天 -->
    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>604800</value>
    </property>
</configuration>

（d）mapred-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
	<!-- 指定MapReduce程序运行在Yarn上 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <!-- 历史服务器端地址 -->
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>hadoop101:10020</value>
    </property>

    <!-- 历史服务器web端地址 -->
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>hadoop101:19888</value>
    </property>
</configuration>

（e）workers

hadoop101
hadoop102
hadoop103

执行xcall hadoop version 显示以下信息表示安装成功

Hadoop 3.1.3
Source code repository https://gitbox.apache.org/repos/asf/hadoop.git -r ba631c436b806728f8ec2f54ab1e289526c90579
Compiled by ztang on 2019-09-12T02:47Z
Compiled with protoc 2.5.0
From source with checksum ec785077c385118ac91aadde5ec9799
This command was run using /opt/module/hadoop-3.1.3/share/hadoop/common/hadoop-common-3.1.3.jar

（4）启动集群

#格式化namenode
hdfs namenode -format
#在hadoop101执行
start-dfs.sh
#在hadoop102执行
start-yarn.sh
#浏览器输入http://hadoop101:9870/dfshealth.html#tab-overview访问hdfs集群
#浏览器输入http://hadoop102:8088/cluster/nodes访问yarn集群

#使用wordcount测试集群
#在hdfs根目录创建input文件夹
hadoop fs -mkdir /input
#上传文件
hadoop fs -put README.txt /input
#执行程序
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output
#启动历史服务器
mapred --daemon start historyserver

（5）hadoop群起/关脚本

#!/bin/bash
if [ $# -lt 1 ]
then
    echo "No Args Input..."
    exit ;
fi
case $1 in
"start")
        echo " =================== 启动 hadoop集群 ==================="

        echo " --------------- 启动 hdfs ---------------"
        ssh hadoop101 "/opt/module/hadoop-3.1.3/sbin/start-dfs.sh"
        echo " --------------- 启动 yarn ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/start-yarn.sh"
        echo " --------------- 启动 historyserver ---------------"
        ssh hadoop101 "/opt/module/hadoop-3.1.3/bin/mapred --daemon start historyserver"
;;
"stop")
        echo " =================== 关闭 hadoop集群 ==================="

        echo " --------------- 关闭 historyserver ---------------"
        ssh hadoop101 "/opt/module/hadoop-3.1.3/bin/mapred --daemon stop historyserver"
        echo " --------------- 关闭 yarn ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/stop-yarn.sh"
        echo " --------------- 关闭 hdfs ---------------"
        ssh hadoop101 "/opt/module/hadoop-3.1.3/sbin/stop-dfs.sh"
;;
*)
    echo "Input Args Error..."
;;
esac

3 hadoop项目经验

（1）HDFS存储多目录

namenode不用配置多目录，如果配置，那么不同目录之间存储的内容相同，只是起到备份的效果，但在生产环境中的namenode是高可用的，没有必要让某一个namenode备份数据。

而datenode在配置多目录时，每一个目录中存储的数据是不同的，不是备份的效果，datenode的备份是通过副本机制实现的，而在生产环境中，是一定要配置多目录存储的，因为有一台服务器专门用来存储datenode中的数据，容量大小为10T，并不是一块硬盘就是10T，一般是由很多块硬盘共同组成10T容量，这些不同的硬盘在luinux中挂载在不同的目录下，那么，在存储数据时想要将数据存储到这些不同的硬盘上，就必须要配置namenode的多目录存储。

（a）生产环境服务器磁盘情况

在这里插入图片描述

（b）在hdfs-site.xml文件中配置多目录，注意新挂载磁盘的访问权限问题。

HDFS的DataNode节点保存数据的路径由dfs.datanode.data.dir参数决定，其默认值为file://${hadoop.tmp.dir}/dfs/data，若服务器有多个磁盘，必须对该参数进行修改。如服务器磁盘如上图所示，则该参数应修改为如下的值。

<property>
    <name>dfs.datanode.data.dir</name>
<value>file:///dfs/data1,file:///hd2/dfs/data2,file:///hd3/dfs/data3,file:///hd4/dfs/data4</value>
</property>

需要注意的是，每台服务器挂载的磁盘不一样，所以每个节点的多目录配置可以不一致。单独配置即可。

（2）集群数据均衡

数据均衡分为两种：①集群间节点与节点之间②单节点磁盘间

（a）节点间数据均衡

因为某些操作使得集群间的数据存储不均衡或者新加入一个节点之后

#开启数据均衡命令
start-balancer.sh -threshold 10
#对于参数10，代表的是集群中各个节点的磁盘空间利用率相差不超过10%，可根据实际情况进行调整。
#停止数据均衡命令
stop-balancer.sh

（b）单节点磁盘间数据均衡

长时间的使用，造成磁盘之间存储的数据不均衡

#生成均衡计划，执行完成之后会生成.json文件
hdfs diskbalancer -plan hadoop103
#执行均衡计划
hdfs diskbalancer -execute hadoop103.plan.json
#查看当前均衡任务的执行情况
hdfs diskbalancer -query hadoop103
#取消均衡任务
hdfs diskbalancer -cancel hadoop103.plan.json

（3）支持LZO压缩配置

（a）lzo配置

hadoop本身并不支持lzo压缩，故需要使用twitter提供的hadoop-lzo开源组件。hadoop-lzo需依赖hadoop和lzo进行编译，编译步骤如下。

Hadoop支持LZO

0. 环境准备
maven（下载安装，配置环境变量，修改sitting.xml加阿里云镜像）
gcc-c++
zlib-devel
autoconf
automake
libtool
通过yum安装即可，yum -y install gcc-c++ lzo-devel zlib-devel autoconf automake libtool

1. 下载、安装并编译LZO

wget http://www.oberhumer.com/opensource/lzo/download/lzo-2.10.tar.gz

tar -zxvf lzo-2.10.tar.gz

cd lzo-2.10

./configure -prefix=/usr/local/hadoop/lzo/

make

make install

2. 编译hadoop-lzo源码

2.1 下载hadoop-lzo的源码，下载地址：https://github.com/twitter/hadoop-lzo/archive/master.zip
2.2 解压之后，修改pom.xml
    <hadoop.current.version>3.1.3</hadoop.current.version>
2.3 声明两个临时环境变量
     export C_INCLUDE_PATH=/usr/local/hadoop/lzo/include
     export LIBRARY_PATH=/usr/local/hadoop/lzo/lib 
2.4 编译
    进入hadoop-lzo-master，执行maven编译命令
    mvn package -Dmaven.test.skip=true
2.5 进入target，hadoop-lzo-0.4.21-SNAPSHOT.jar 即编译成功的hadoop-lzo组件

将编译好后的hadoop-lzo-0.4.20.jar 放入hadoop-3.1.3/share/hadoop/common/

同步hadoop-lzo-0.4.20.jar到hadoop102、hadoop103

core-site.xml增加配置支持LZO压缩

    <property>
        <name>io.compression.codecs</name>
        <value>
            org.apache.hadoop.io.compress.GzipCodec,
            org.apache.hadoop.io.compress.DefaultCodec,
            org.apache.hadoop.io.compress.BZip2Codec,
            org.apache.hadoop.io.compress.SnappyCodec,
            com.hadoop.compression.lzo.LzoCodec,
            com.hadoop.compression.lzo.LzopCodec
        </value>
    </property>

    <property>
        <name>io.compression.codec.lzo.class</name>
        <value>com.hadoop.compression.lzo.LzoCodec</value>
    </property>

同步core-site.xml到hadoop102、hadoop103

（b）使用wordcount测试lzo压缩

hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount -Dmapreduce.output.fileoutputformat.compress=true -Dmapreduce.output.fileoutputformat.compress.codec=com.hadoop.compression.lzo.LzopCodec /input /lzo-output

输出结果为.lzo格式的文件表示已经支持此种压缩方式

（c）测试lzo压缩文件的切片

准备lzo格式较大的文件

创建索引

想让lzo执行切片必须创建索引

hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/common/hadoop-lzo-0.4.20.jar com.hadoop.compression.lzo.DistributedLzoIndexer /lzo-input/bigtable.lzo

hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount -Dmapreduce.job.inputformat.class=com.hadoop.mapreduce.LzoTextInputFormat /lzo-input /lzo-output

查看日志，可知切片成功

Processing split: hdfs://hadoop101:8020/lzo-input/bigtable.lzo:0+134338830
Processing split: hdfs://hadoop101:8020/lzo-input/bigtable.lzo:134338830+90226625

中断正在进行中的任务：在其他服务器上执行

#查看正在进行中的任务
yarn application -list
#中断操作
yarn application -kill 执行任务号

（4）基准测试

（a）测试HDFS写性能

向HDFS集群写10个128M的文件（根据电脑实际cpu个数进行设置）

hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.1.3-tests.jar TestDFSIO -write -nrFiles 10 -fileSize 128MB

（b）测试HDFS读性能

读取HDFS集群10个128M的文件

hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.1.3-tests.jar TestDFSIO -read -nrFiles 10 -fileSize 128MB

（c）删除测试生成的数据

hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.1.3-tests.jar TestDFSIO -clean

（d）使用Sort程序评测MapReduce

使用RandomWriter来产生随机数，每个节点运行10个Map任务，每个Map产生大约1G大小的二进制随机数

hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar randomwriter random-data

执行Sort程序

hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar sort random-data sorted-data

验证数据是否真正排好序了

hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.1.3-tests.jar testmapredsort -sortInput random-data -sortOutput sorted-data

（5）参数调优

（a）HDFS参数调优hdfs-site.xml

The number of Namenode RPC server threads that listen to requests from clients. If dfs.namenode.servicerpc-address is not configured then Namenode RPC server threads listen to requests from all nodes.
NameNode有一个工作线程池，用来处理不同DataNode的并发心跳以及客户端并发的元数据操作。
对于大集群或者有大量客户端的集群来说，通常需要增大参数dfs.namenode.handler.count的默认值10。
<property>
    <name>dfs.namenode.handler.count</name>
    <value>10</value>
</property>

dfs.namenode.handler.count= $20 \times \log _{e}^{\text {Cluster Size }}$ ，比如集群规模为8台时，此参数设置为41。可通过简单的python代码计算该值，代码如下

# 在linux输入python
Python 2.7.5 (default, Apr 11 2018, 07:36:10) 
[GCC 4.8.5 20150623 (Red Hat 4.8.5-28)] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> import math
>>> print int(20*math.log(8))
41
>>> quit()

（b）YARN参数调优yarn-site.xml

情景描述：总共7台机器，每天几亿条数据，数据源->Flume->Kafka->HDFS->Hive

面临问题：数据统计主要用HiveSQL，没有数据倾斜，小文件已经做了合并处理，开启的JVM重用，而且IO没有阻塞，内存用了不到50%。但是还是跑的非常慢，而且数据量洪峰过来时，整个集群都会宕掉。基于这种情况有没有优化方案。

解决办法：内存利用率不够。这个一般是Yarn的2个配置造成的，单个任务可以申请的最大内存大小，和Hadoop单个节点可用内存大小。调节这以下两个参数能提高系统内存的利用率。

yarn.nodemanager.resource.memory-mb

表示该节点上YARN可使用的物理内存总量，默认是8192（MB），注意，如果你的节点内存资源不够8GB，则需要调减小这个值，而YARN不会智能的探测节点的物理内存总量。
yarn.scheduler.maximum-allocation-mb

单个任务可申请的最多物理内存量，默认是8192（MB）。

OneTenTwo76

关注

0
点赞
踩
2

收藏

觉得还不错? 一键收藏
打赏
0
评论
数仓采集项目【03数仓采集模块之hadoop安装及项目经验】

文章目录一数据采集模块1 常用脚本文件（1）查看集群所有进程（2）通用脚本2 hadoop安装（1）集群规划（2）安装步骤（3）配置集群（a）core-site.xml（b）hdfs-site.xml（c）yarn-site.xml（d）mapred-site.xml（e）workers（4）启动集群（5）hadoop群起/关脚本3 hadoop项目经验（1）HDFS存储多目录（a）生产环境服务器磁盘情况（b）在hdfs-site.xml文件中配置多目录，注意新挂载磁盘的访问权限问题。（2）集群数据均衡（
复制链接

扫一扫