离线数仓(一):通俗易懂的 Hadoop集群环境搭建

在这里插入图片描述

文章目录

虚机的搭建以及基础环境的部署参考: https://hucheng.blog.csdn.net/article/details/102719750,此次使用的 Hadoop版本为 3.1.3

一、 Hadoop 集群

1.1 Hadoop集群安装

1.1.1 集群部署规划

hadoop100hadoop101hadoop102HDFSNameNode DataNodeDataNodeSecondaryNameNode DataNodeYARNNodeManagerResourceManager NodeManagerNodeManager

1.1.2 配置集群

① 核心配置文件

配置 core-site.xml


    <property>
        <name>fs.defaultFSname>
        <value>hdfs://hadoop100:8020value>
    property>
    <property>
        <name>hadoop.tmp.dirname>
        <value>/opt/module/hadoop-3.1.3/datavalue>
    property>

② HDFS 配置文件

配置 hdfs-site.xml


    <property>
        <name>dfs.namenode.secondary.http-addressname>
        <value>hadoop102:9868value>
    property>

	<property>
		<name>dfs.replicationname>
		<value>1value>
	property>

③ YARN 配置文件

配置 yarn-site.xml

    <property>
        <name>yarn.nodemanager.aux-servicesname>
        <value>mapreduce_shufflevalue>
    property>
    <property>
        <name>yarn.resourcemanager.hostnamename>
        <value>hadoop101value>
    property>
    <property>
        <name>yarn.nodemanager.env-whitelistname>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOMEvalue>
    property>
    <property>
        <name>yarn.scheduler.minimum-allocation-mbname>
        <value>512value>
    property>
    <property>
        <name>yarn.scheduler.maximum-allocation-mbname>
        <value>4096value>
    property>
    <property>
        <name>yarn.nodemanager.resource.memory-mbname>
        <value>4096value>
    property>
    <property>
        <name>yarn.nodemanager.pmem-check-enabledname>
        <value>falsevalue>
    property>
    <property>
        <name>yarn.nodemanager.vmem-check-enabledname>
        <value>falsevalue>
    property>

④ MapReduce 配置文件

配置 mapred-site.xml

    <property>
        <name>mapreduce.framework.namename>
        <value>yarnvalue>
    property>

⑤ 配置 workers(原slaves)

[root@hadoop100 ~]
hadoop100
hadoop101
hadoop102

⑥ 修改启动文件
start-dfs.shstop-dfs.sh头部添加:

HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

start-yarn.shstop-yarn.sh头部添加:

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

1.1.3 启动集群

① 如果集群是第一次启动,需要在 Hadoop100 节点格式化 NameNode

[root@hadoop100 hadoop-3.1.3]$ bin/hdfs namenode -format

② 启动 HDFS

[root@hadoop100 hadoop-3.1.3]$ sbin/start-dfs.sh

③ 启动 YARN

[root@hadoop101 hadoop-3.1.3]$ sbin/start-yarn.sh

④ Web 端查看 HDFS 的 Web 页面:

http://hadoop100:9870/

1.1.4 集群基本测试

① 上传文件到集群

[root@hadoop102 ~]

[root@hadoop102 ~]

②下载

[root@hadoop102 ~]

③ 执行 wordcount 程序

[root@hadoop102 hadoop-3.1.3]
wordcount /user/root/input /user/root/output

Hadoop3.0的HDFS Web页面提供更多的操作,例如文件预览等等…

1.2 Hadoop 项目经验

1.2.1 HDFS 存储多目录

HDFS存储空间紧张,需要对 DataNode进行磁盘扩展。

① 在 DataNode 节点增加磁盘并进行挂载

② 在 hdfs-site.xml 文件中配置多目录,注意新挂载磁盘的访问权限问题

<property>
    <name>dfs.datanode.data.dirname>
	<value>file:///${hadoop.tmp.dir}/dfs/data1,file:///hd2/dfs/data2,
		file:///hd3/dfs/data3,file:///hd4/dfs/data4value>
property>

③ 增加磁盘后,保证每个目录数据均衡

开启数据均衡命令: bin/start-balancer.sh &#x2013;threshold 10

对于参数10,代表的是集群中各个节点的磁盘空间利用率相差不超过10%,可根据实际情况进行调整。

停止数据均衡命令: bin/stop-balancer.sh

1.2.2 LZO 压缩配置

Hadoop本身并不支持 LZO压缩,故需要使用 twitter提供的 hadoop-lzo开源组件。 hadoop-lzo需依赖 hadooplzo进行编译,将编译好后的 hadoop-lzo-0.4.20.jar放入 hadoop-3.1.3/share/hadoop/common/

① core-site.xml 增加配置支持 LZO 压缩

<property>
	<name>io.compression.codecsname>
	<value>
		org.apache.hadoop.io.compress.GzipCodec,
		org.apache.hadoop.io.compress.DefaultCodec,
		org.apache.hadoop.io.compress.BZip2Codec,
		org.apache.hadoop.io.compress.SnappyCodec,
		com.hadoop.compression.lzo.LzoCodec,
		com.hadoop.compression.lzo.LzopCodec
	value>
property>

<property>
    <name>io.compression.codec.lzo.classname>
    <value>com.hadoop.compression.lzo.LzoCodecvalue>
property>

② 同步 hadoop-lzo-0.4.20.jar 和 core-site.xml 至其他集群节点

③ 重启集群

1.2.3 LZO 创建索引

LZO压缩文件的可切片特性依赖于其索引,故我们需要手动为 LZO压缩文件创建索引。若无索引,则 LZO文件的切片只有一个。

① 将 bigtable.lzo(150M)上传到集群的根目录

[root@hadoop100 module]
[root@hadoop100 module]

② 执行 wordcount 程序

[root@hadoop100 hadoop-3.1.3]
wordcount /input /output2


③ 对上传的 LZO 文件建索引

[root@hadoop100 common]
com.hadoop.compression.lzo.Dist ributedLzoIndexer /input/bigtable.lzo

④ 再次执行 wordcount 程序

[root@hadoop100 hadoop-3.1.3]
wordcount /input /output2

1.2.4 基准测试

① 测试 HDFS 写性能

测试内容:向 HDFS集群写10个128M的文件

[root@hadoop100 hadoop-3.1.3]
TestDFSIO -write -nrFiles 10 -fileSize 128MB

2020-04-16 13:41:24,724 INFO fs.TestDFSIO: ----- TestDFSIO ----- : write
2020-04-16 13:41:24,724 INFO fs.TestDFSIO:             Date & time: Thu Apr 16 13:41:24 CST 2020
2020-04-16 13:41:24,724 INFO fs.TestDFSIO:         Number of files: 10
2020-04-16 13:41:24,725 INFO fs.TestDFSIO:  Total MBytes processed: 1280
2020-04-16 13:41:24,725 INFO fs.TestDFSIO:       Throughput mb/sec: 8.88
2020-04-16 13:41:24,725 INFO fs.TestDFSIO:  Average IO rate mb/sec: 8.96
2020-04-16 13:41:24,725 INFO fs.TestDFSIO:   IO rate std deviation: 0.87
2020-04-16 13:41:24,725 INFO fs.TestDFSIO:      Test exec time sec: 67.61

② 测试 HDFS 读性能

测试内容:读取 HDFS集群10个128M的文件

[root@hadoop100 hadoop-3.1.3]
TestDFSIO -read -nrFiles 10 -fileSize 128MB

2020-04-16 13:43:38,857 INFO fs.TestDFSIO: ----- TestDFSIO ----- : read
2020-04-16 13:43:38,858 INFO fs.TestDFSIO:   Date & time: Thu Apr 16 13:43:38 CST 2020
2020-04-16 13:43:38,859 INFO fs.TestDFSIO:         Number of files: 10
2020-04-16 13:43:38,859 INFO fs.TestDFSIO:  Total MBytes processed: 1280
2020-04-16 13:43:38,859 INFO fs.TestDFSIO:       Throughput mb/sec: 85.54
2020-04-16 13:43:38,860 INFO fs.TestDFSIO:  Average IO rate mb/sec: 100.21
2020-04-16 13:43:38,860 INFO fs.TestDFSIO:   IO rate std deviation: 44.37
2020-04-16 13:43:38,860 INFO fs.TestDFSIO:      Test exec time sec: 53.61

③ 删除测试生成数据

[root@hadoop100 hadoop-3.1.3]
TestDFSIO -clean

④ 使用 Sort 程序评测 MapReduce

1、使用 RandomWriter来产生随机数,每个节点运行10个 Map任务,每个 Map产生大约1G大小的二进制随机数

[root@hadoop100 hadoop-3.1.3]
randomwriter random-data

2、执行 Sort程序

[root@hadoop100 hadoop-3.1.3]
sort random-data sorted-data

3、验证数据是否真正排好序了

[root@hadoop100 hadoop-3.1.3]
testmapredsort -sortInput random-data -sortOutput sorted-data

1.2.5 Hadoop 参数调优

① HDFS 参数调优 hdfs-site.xml

dfs.namenode.handler.count=20 * log2(Cluster Size),比如集群规模为8台时,此参数设置为60

The number of Namenode RPC server threads that listen to requests from clients. If dfs.namenode.servicerpc-address is not configured then Namenode RPC server threads listen to requests from all nodes.

NameNode有一个工作线程池,用来处理不同DataNode的并发心跳以及客户端并发的元数据操作。对于大集群或者有大量客户端的集群来说,通常需要增大参数dfs.namenode.handler.count的默认值10。设置该值的一般原则是将其设置为集群大小的自然对数乘以20,即20logN,N为集群大小。

② YARN 参数调优 yarn-site.xml

【情景描述】:总共7台机器,每天几亿条数据,数据源-> Flume-> Kafka-> HDFS-> Hive

【面临问题】:数据统计主要用 HiveSQL,没有数据倾斜,小文件已经做了合并处理,开启的 JVM重用,而且 IO没有阻塞,内存用了不到50%。但是还是跑的非常慢,而且数据量洪峰过来时,整个集群都会宕掉。基于这种情况有没有优化方案。

【解决办法】:内存利用率不够。这个一般是 Yarn的2个配置造成的,单个任务可以申请的最大内存大小,和 Hadoop单个节点可用内存大小。调节这两个参数能提高系统内存的利用率。

  • yarn.nodemanager.resource.memory-mb:表示该节点上 YARN可使用的物理内存总量,默认是8192(MB),注意,如果你的节点内存资源不够8GB,则需要调减小这个值,而 YARN不会智能的探测节点的物理内存总量。
  • yarn.scheduler.maximum-allocation-mb:单个任务可申请的最多物理内存量,默认是8192(MB)。

③ Hadoop 宕机

  • 如果 MR造成系统宕机。此时要控制 Yarn同时运行的任务数,和每个任务申请的最大内存。调整参数: yarn.scheduler.maximum-allocation-mb(单个任务可申请的最多物理内存量,默认是8192MB)
  • 如果写入文件过量造成 NameNode宕机。那么调高 Kafka的存储大小,控制从 KafkaHDFS的写入速度。高峰期的时候用 Kafka进行缓存,高峰期过去数据同步会自动跟上。

二、ZooKeeper集群安装

① 集群规划:在 hadoop100hadoop101hadoop102三个节点上部署 Zookeeper

② 解压安装

[root@hadoop100 software]

③ 配置服务器编号

[root@hadoop100 zookeeper-3.5.7]

[root@hadoop100 zkData]
0

④ 配置 zoo.cfg 文件

[root@hadoop100 conf]

[root@hadoop100 conf]
dataDir=/opt/module/zookeeper-3.5.7/zkData
server.0=hadoop100:2888:3888
server.1=hadoop101:2888:3888
server.2=hadoop102:2888:3888

配置参数解析: server.A=B:C:D

  • A是一个数字,表示这个是第几号服务器
  • B是这个服务器的地址
  • C是这个服务器 Follower与集群中的 Leader服务器交换信息的端口
  • D是万一集群中的 Leader服务器挂了,需要一个端口来重新进行选举,选出一个新的 Leader,而这个端口就是用来执行选举时服务器相互通信的端口

⑤ 群起脚本

#!/bin/bash

case $1 in
"start"){
    for i in hadoop100 hadoop101 hadoop102
    do
        echo "------------- $i -------------"
        ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh start"
    done
};;
"stop"){
    for i in hadoop100 hadoop101 hadoop102
    do
        echo "------------- $i -------------"
        ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh stop"
    done
};;
"status"){
    for i in hadoop100 hadoop101 hadoop102
    do
        echo "------------- $i -------------"
        ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh status"
    done
};;
esac
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值