离线数仓（一）:通俗易懂的 Hadoop集群环境搭建

最新推荐文章于 2024-06-16 15:43:59 发布
最新推荐文章于 2024-06-16 15:43:59 发布
阅读量1.9k 收藏
点赞数
分类专栏： 后端 文章标签： hadoop mysql 数据库 big data 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42145856/article/details/114573147
版权

在这里插入图片描述

文章目录

文章目录

虚机的搭建以及基础环境的部署参考： https://hucheng.blog.csdn.net/article/details/102719750，此次使用的 Hadoop版本为 3.1.3

一、 Hadoop 集群

1.1 Hadoop集群安装

1.1.1 集群部署规划

hadoop100hadoop101hadoop102HDFSNameNode DataNodeDataNodeSecondaryNameNode DataNodeYARNNodeManagerResourceManager NodeManagerNodeManager

1.1.2 配置集群

① 核心配置文件

配置 core-site.xml


    <property>
        <name>fs.defaultFSname>
        <value>hdfs://hadoop100:8020value>
    property>
    <property>
        <name>hadoop.tmp.dirname>
        <value>/opt/module/hadoop-3.1.3/datavalue>
    property>

② HDFS 配置文件

配置 hdfs-site.xml


    <property>
        <name>dfs.namenode.secondary.http-addressname>
        <value>hadoop102:9868value>
    property>

	<property>
		<name>dfs.replicationname>
		<value>1value>
	property>

③ YARN 配置文件

配置 yarn-site.xml

    <property>
        <name>yarn.nodemanager.aux-servicesname>
        <value>mapreduce_shufflevalue>
    property>
    <property>
        <name>yarn.resourcemanager.hostnamename>
        <value>hadoop101value>
    property>
    <property>
        <name>yarn.nodemanager.env-whitelistname>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOMEvalue>
    property>
    <property>
        <name>yarn.scheduler.minimum-allocation-mbname>
        <value>512value>
    property>
    <property>
        <name>yarn.scheduler.maximum-allocation-mbname>
        <value>4096value>
    property>
    <property>
        <name>yarn.nodemanager.resource.memory-mbname>
        <value>4096value>
    property>
    <property>
        <name>yarn.nodemanager.pmem-check-enabledname>
        <value>falsevalue>
    property>
    <property>
        <name>yarn.nodemanager.vmem-check-enabledname>
        <value>falsevalue>
    property>

④ MapReduce 配置文件

配置 mapred-site.xml

    <property>
        <name>mapreduce.framework.namename>
        <value>yarnvalue>
    property>

⑤ 配置 workers（原slaves）

[root@hadoop100 ~]
hadoop100
hadoop101
hadoop102

⑥ 修改启动文件
在 start-dfs.sh、 stop-dfs.sh头部添加:

HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

在 start-yarn.sh、 stop-yarn.sh头部添加:

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

1.1.3 启动集群

① 如果集群是第一次启动，需要在 Hadoop100 节点格式化 NameNode

[root@hadoop100 hadoop-3.1.3]$ bin/hdfs namenode -format

② 启动 HDFS

[root@hadoop100 hadoop-3.1.3]$ sbin/start-dfs.sh

③ 启动 YARN

[root@hadoop101 hadoop-3.1.3]$ sbin/start-yarn.sh

④ Web 端查看 HDFS 的 Web 页面：

http://hadoop100:9870/

1.1.4 集群基本测试

① 上传文件到集群

[root@hadoop102 ~]

[root@hadoop102 ~]

②下载

[root@hadoop102 ~]

③ 执行 wordcount 程序

[root@hadoop102 hadoop-3.1.3]
wordcount /user/root/input /user/root/output

Hadoop3.0的HDFS Web页面提供更多的操作，例如文件预览等等…

1.2 Hadoop 项目经验

1.2.1 HDFS 存储多目录

若 HDFS存储空间紧张，需要对 DataNode进行磁盘扩展。

① 在 DataNode 节点增加磁盘并进行挂载

② 在 hdfs-site.xml 文件中配置多目录，注意新挂载磁盘的访问权限问题

<property>
    <name>dfs.datanode.data.dirname>
	<value>file:///${hadoop.tmp.dir}/dfs/data1,file:///hd2/dfs/data2,
		file:///hd3/dfs/data3,file:///hd4/dfs/data4value>
property>

③ 增加磁盘后，保证每个目录数据均衡

开启数据均衡命令： bin/start-balancer.sh &#x2013;threshold 10；

对于参数10，代表的是集群中各个节点的磁盘空间利用率相差不超过10%，可根据实际情况进行调整。

停止数据均衡命令： bin/stop-balancer.sh

1.2.2 LZO 压缩配置

Hadoop本身并不支持 LZO压缩，故需要使用 twitter提供的 hadoop-lzo开源组件。 hadoop-lzo需依赖 hadoop和 lzo进行编译，将编译好后的 hadoop-lzo-0.4.20.jar放入 hadoop-3.1.3/share/hadoop/common/

① core-site.xml 增加配置支持 LZO 压缩

<property>
	<name>io.compression.codecsname>
	<value>
		org.apache.hadoop.io.compress.GzipCodec,
		org.apache.hadoop.io.compress.DefaultCodec,
		org.apache.hadoop.io.compress.BZip2Codec,
		org.apache.hadoop.io.compress.SnappyCodec,
		com.hadoop.compression.lzo.LzoCodec,
		com.hadoop.compression.lzo.LzopCodec
	value>
property>

<property>
    <name>io.compression.codec.lzo.classname>
    <value>com.hadoop.compression.lzo.LzoCodecvalue>
property>

② 同步 hadoop-lzo-0.4.20.jar 和 core-site.xml 至其他集群节点

③ 重启集群

1.2.3 LZO 创建索引

LZO压缩文件的可切片特性依赖于其索引，故我们需要手动为 LZO压缩文件创建索引。若无索引，则 LZO文件的切片只有一个。

① 将 bigtable.lzo（150M）上传到集群的根目录

[root@hadoop100 module]
[root@hadoop100 module]

② 执行 wordcount 程序

[root@hadoop100 hadoop-3.1.3]
wordcount /input /output2


③ 对上传的 LZO 文件建索引

[root@hadoop100 common]
com.hadoop.compression.lzo.Dist ributedLzoIndexer /input/bigtable.lzo

④ 再次执行 wordcount 程序

[root@hadoop100 hadoop-3.1.3]
wordcount /input /output2

1.2.4 基准测试

① 测试 HDFS 写性能

测试内容：向 HDFS集群写10个128M的文件

[root@hadoop100 hadoop-3.1.3]
TestDFSIO -write -nrFiles 10 -fileSize 128MB

2020-04-16 13:41:24,724 INFO fs.TestDFSIO: ----- TestDFSIO ----- : write
2020-04-16 13:41:24,724 INFO fs.TestDFSIO:             Date & time: Thu Apr 16 13:41:24 CST 2020
2020-04-16 13:41:24,724 INFO fs.TestDFSIO:         Number of files: 10
2020-04-16 13:41:24,725 INFO fs.TestDFSIO:  Total MBytes processed: 1280
2020-04-16 13:41:24,725 INFO fs.TestDFSIO:       Throughput mb/sec: 8.88
2020-04-16 13:41:24,725 INFO fs.TestDFSIO:  Average IO rate mb/sec: 8.96
2020-04-16 13:41:24,725 INFO fs.TestDFSIO:   IO rate std deviation: 0.87
2020-04-16 13:41:24,725 INFO fs.TestDFSIO:      Test exec time sec: 67.61

② 测试 HDFS 读性能

测试内容：读取 HDFS集群10个128M的文件

[root@hadoop100 hadoop-3.1.3]
TestDFSIO -read -nrFiles 10 -fileSize 128MB

2020-04-16 13:43:38,857 INFO fs.TestDFSIO: ----- TestDFSIO ----- : read
2020-04-16 13:43:38,858 INFO fs.TestDFSIO:   Date & time: Thu Apr 16 13:43:38 CST 2020
2020-04-16 13:43:38,859 INFO fs.TestDFSIO:         Number of files: 10
2020-04-16 13:43:38,859 INFO fs.TestDFSIO:  Total MBytes processed: 1280
2020-04-16 13:43:38,859 INFO fs.TestDFSIO:       Throughput mb/sec: 85.54
2020-04-16 13:43:38,860 INFO fs.TestDFSIO:  Average IO rate mb/sec: 100.21
2020-04-16 13:43:38,860 INFO fs.TestDFSIO:   IO rate std deviation: 44.37
2020-04-16 13:43:38,860 INFO fs.TestDFSIO:      Test exec time sec: 53.61

③ 删除测试生成数据

[root@hadoop100 hadoop-3.1.3]
TestDFSIO -clean

④ 使用 Sort 程序评测 MapReduce

1、使用 RandomWriter来产生随机数，每个节点运行10个 Map任务，每个 Map产生大约1G大小的二进制随机数

[root@hadoop100 hadoop-3.1.3]
randomwriter random-data

2、执行 Sort程序

[root@hadoop100 hadoop-3.1.3]
sort random-data sorted-data

3、验证数据是否真正排好序了

[root@hadoop100 hadoop-3.1.3]
testmapredsort -sortInput random-data -sortOutput sorted-data

1.2.5 Hadoop 参数调优

① HDFS 参数调优 hdfs-site.xml

dfs.namenode.handler.count=20 * log2(Cluster Size)，比如集群规模为8台时，此参数设置为60

The number of Namenode RPC server threads that listen to requests from clients. If dfs.namenode.servicerpc-address is not configured then Namenode RPC server threads listen to requests from all nodes.

NameNode有一个工作线程池，用来处理不同DataNode的并发心跳以及客户端并发的元数据操作。对于大集群或者有大量客户端的集群来说，通常需要增大参数dfs.namenode.handler.count的默认值10。设置该值的一般原则是将其设置为集群大小的自然对数乘以20，即20logN，N为集群大小。

② YARN 参数调优 yarn-site.xml

【情景描述】：总共7台机器，每天几亿条数据，数据源-> Flume-> Kafka-> HDFS-> Hive

【面临问题】：数据统计主要用 HiveSQL，没有数据倾斜，小文件已经做了合并处理，开启的 JVM重用，而且 IO没有阻塞，内存用了不到50%。但是还是跑的非常慢，而且数据量洪峰过来时，整个集群都会宕掉。基于这种情况有没有优化方案。

【解决办法】：内存利用率不够。这个一般是 Yarn的2个配置造成的，单个任务可以申请的最大内存大小，和 Hadoop单个节点可用内存大小。调节这两个参数能提高系统内存的利用率。

  • yarn.nodemanager.resource.memory-mb：表示该节点上 YARN可使用的物理内存总量，默认是8192（MB），注意，如果你的节点内存资源不够8GB，则需要调减小这个值，而 YARN不会智能的探测节点的物理内存总量。
  • yarn.scheduler.maximum-allocation-mb：单个任务可申请的最多物理内存量，默认是8192（MB）。

③ Hadoop 宕机

  • 如果 MR造成系统宕机。此时要控制 Yarn同时运行的任务数，和每个任务申请的最大内存。调整参数： yarn.scheduler.maximum-allocation-mb（单个任务可申请的最多物理内存量，默认是8192MB）
  • 如果写入文件过量造成 NameNode宕机。那么调高 Kafka的存储大小，控制从 Kafka到 HDFS的写入速度。高峰期的时候用 Kafka进行缓存，高峰期过去数据同步会自动跟上。

二、ZooKeeper集群安装

① 集群规划：在 hadoop100、 hadoop101和 hadoop102三个节点上部署 Zookeeper。

② 解压安装

[root@hadoop100 software]

③ 配置服务器编号

[root@hadoop100 zookeeper-3.5.7]

[root@hadoop100 zkData]
0

④ 配置 zoo.cfg 文件

[root@hadoop100 conf]

[root@hadoop100 conf]
dataDir=/opt/module/zookeeper-3.5.7/zkData
server.0=hadoop100:2888:3888
server.1=hadoop101:2888:3888
server.2=hadoop102:2888:3888

配置参数解析： server.A=B:C:D

  • A是一个数字，表示这个是第几号服务器
  • B是这个服务器的地址
  • C是这个服务器 Follower与集群中的 Leader服务器交换信息的端口
  • D是万一集群中的 Leader服务器挂了，需要一个端口来重新进行选举，选出一个新的 Leader，而这个端口就是用来执行选举时服务器相互通信的端口

⑤ 群起脚本

#!/bin/bash

case $1 in
"start"){
    for i in hadoop100 hadoop101 hadoop102
    do
        echo "------------- $i -------------"
        ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh start"
    done
};;
"stop"){
    for i in hadoop100 hadoop101 hadoop102
    do
        echo "------------- $i -------------"
        ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh stop"
    done
};;
"status"){
    for i in hadoop100 hadoop101 hadoop102
    do
        echo "------------- $i -------------"
        ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh status"
    done
};;
esac
软测小刘
关注
专栏目录
【大数据之路5-3】离线数据仓库（Hive 搭建）
程序员五哥
06-09 778
数据仓库（Data Warehouse），简写为DW或DWH，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建。为需要业务智能的企业提供指导业务流程改进、监视时间、成本、质量及控制。
大数据导论实验一：搭建Hadoop集群
weixin_47060391的博客
12-27 2469
搭建Hadoop集群，要求至少是3个节点的真分布式集群系统，包含1个NameNode，两个DataNode。
离线数仓搭建
最新发布
xinglu20的博客
06-16 1094
1.先执行到这两个线条上面，然后上传date_info.txt到/warehouse/gmall/tmp/tmp_dim_date_info。注意：对自己机器有信心的话，直接执行脚本，没信心的话，执行一个，重启或者等待几分钟执行下一个。这三个不用管，所以开始前我们需要确定有这些文件和配置。上传base.txt到任意目录下，且cd到该目录。到后面将时间修改为06,07分别运行lg.sh。等吧，每个半个小时起步或者一个小时，是搞不定的。多出来13张表，也就是说，现在有30张表。执行两次就到我们需要的位置。
离线数仓搭建——集群准备
luckyhuak的博客
11-16 2459
大数据采集通道搭建 1，服务器准备（以三台虚拟机为例） 一、虚拟机环境准备 （1）系统以Centos-7.5-x86-1804为例最小化安装后,使用yum安装基本的工具，安装epel-release yum install -y epel-release 注：该工具相当于是一个软件仓库 （2）安装net-tools:工具包集合包含很多命令 yum install -y net-tools 安装vim：编辑器 yum install -y vim 安装一些其他工具 yum install -y psmi
离线数仓搭建——1.hadoop编译
weixin_44760145的博客
04-01 193
离线数仓搭建——1.hadoop编译 hadoop源码编译 下载地址 https://hadoop.apache.org/release.html https://archive.apache.org/dist/hadoop/common/ 解压hadoop-3.1.3-src.tar.gz 查看hadoop-3.1.3-src中的BUILDING.txt 根据BUILDING.txt中的提示提前下载好需要的package JDK:1.8 https://www.oracle.com/cn/java/tec
大数据之离线数仓项目搭建（一）
糊里糊涂走进大数据的小菜鸡
01-10 2404
数据仓库搭建 文章目录数据仓库搭建1、开启hadoop的权限验证2、在hive中创建数据库3、在hdfs中创建5个目录4、在linux中创建5个用户5、将目录权限赋值给不同用户6、修改hive权限7、在ods中创建表8、将四个表的数据上传到hdfs9、增加分区10、为每一个用户在hdfs中创建一个目录11、DWD层-位置融合表12、DWS层-停留表13、维表接入1、将维表数据导入到mysql -- init_tour.sql2、在hive中创建表3、使用datax将数据集成到hdfs 1、开启hadoop
简易版离线数仓伪分布式搭建（个人使用）
09-20
本文档旨在指导个人用户搭建一个简易版的离线数仓伪分布式系统，使用 Hadoop 作为核心组件。整个过程可以划分为两个主要步骤：环境搭建和 Hadoop 配置。 一、环境搭建 环境搭建是整个系统的基础，需要安装 JDK 和 ...
【Hadoop离线基础总结】CDH版本Hadoop 伪分布式环境搭建
01-07
CDH版本Hadoop 伪分布式环境搭建 服务规划 步骤 第一步：上传压缩包并解压 cd /export/softwares/ tar -zxvf hadoop-2.6.0-cdh5.14.0.tar.gz -C ../servers/ 第二步：查看Hadoop支持的压缩方式以及本地库 cd /...
车险离线数仓项目.txt
09-07
车险离线数仓项目是一个典型的数据仓库构建案例，它主要应用于汽车保险行业的数据分析与处理。该项目不仅能够帮助学员深入了解大数据技术的应用场景，还能通过实际操作提升数据处理能力，为将来从事相关工作打下坚实...
Hive+Spark离线数仓工业项目实战--环境构建（3）
技术专家
12-23 1066
项目环境配置，根据需求实现项目环境配置
基于 Hadoop 数据仓库的搭建
12-14
基于 Hadoop 数据仓库的搭建 为什么需要数据仓库？        传统的数据库中，存放的数据较多是一些定制性数据，表是二维的，一张表可以有很多字段，字段一字排开，对应的数据就一行一行写入表中，特点就是利用二维表表现多维关系。        但这种表关系的上限和下限就定死了，比如 QQ 的用户信息，直接通过查询 info 表，对应的 username、introduce 等信息即可，而此时我想知道这个用户在哪个时间段购买了什么？修改信息的次数？诸如此类的指标时，就要重新设计数据库的表结构，因此无法满足我们的分析需求。        在产品脑图中可以很清晰的看到根据业务需求设计所需的字段，因
基于阿里云搭建数据仓库（离线）.pdf
12-26
1）学习搭建一个数据仓库的过程，理解数据在整个数仓架构的从采集、存储、计算、 输出、展示的整个业务流程。 2）整个数仓体系完全搭建在阿里云架构上，理解并学会运用各个服务组件，了解各个 组件之间如何配合联动。 3）前置知识要求  熟练掌握SQL语法  熟悉Linux命令  对Hadoop大数据体系有一定的了解
构建离线数据仓库
weixin_42466752的博客
07-18 976
具体的实施过程和环节可能因组织和项目而异，需要根据实际情况进行调整和定制。将清洗和转换后的数据加载到目标数据存储介质中，如关系型数据库、列式数据库、分布式文件系统等。设计和生成适当的数据报表、仪表板和可视化图表，以支持业务决策和洞察。对采集的数据进行清洗、处理和转换，以确保数据的准确性和一致性。建立数据质量规范和监控机制，确保数据的准确性、完整性和一致性。设计合适的数据质量指标和报告，以监控数据仓库的运行状况和质量。定期进行数据质量检查和校验，修复和清理数据中的错误和异常。
3.数仓项目—数据生成模块
weixin_45267102的博客
09-01 564
文章目录数据生成模块1. 目标数据1.1 页面数据1.2 事件数据1.3 曝光数据1.4 启动数据1.5 错误数据2. 数据埋点2.1 主流埋点方式（了解）2.2 埋点数据日志结构普通页面埋点日志格式启动日志格式2.3 埋点数据上报时机3. 代码模拟生成数据4. 模拟数据4.1 配置文件说明application.properteis文件path2.json4.2 日志生成命令4.3 集群日志生成脚本lg.sh☆ 数据生成模块 1. 目标数据 我们要收集和分析的数据主要包括页面数据、事件数据、曝光数据、启
离线数仓搭建——3.打通组件
weixin_44760145的博客
04-04 303
typora-root-url: images 打通组件 日志 --> flume --> kafka --> flume --> HDFS 生产数据 启动日志 事件日志 - 商品列表 - 商品点击 - 商品详情 - 评论 - 点赞 - 收藏 - 用户后台活跃 - 消息通知 - 广告 - 错误 生成数据jar包 链接：https://pan.baidu.com/s/1bsaagUX2xACH1o7vB3b-Hw 提取码：nz6d 将java包上传到/opt/module/sc_
离线数仓搭建_03_Hadoop的配置与优化测试
勇敢牛牛，不怕困难！
09-03 968
本文为数仓搭建环境配置阶段之hadoop的配置安装与优化，数仓搭建教程持续更新中尽请期待！
离线数仓搭建_01_数仓概念与项目框架说明
勇敢牛牛，不怕困难！
09-01 1666
数据仓库（ Data Warehouse ），是为企业制定决策，提供数据支持的。可以帮助企业，改进业务流程、提高产品质量等。
离线数仓搭建——2.组件安装
weixin_44760145的博客
04-03 424
组件安装 安装前准备 1.创建用户 一个temp用户 [root@bogon /]# adduser temp [root@bogon /]# passwd temp 更改用户 temp 的密码 。 新的 密码： 无效的密码： 密码少于 8 个字符 重新输入新的 密码： passwd：所有的身份验证令牌已经成功更新。 [root@bogon /]# 2.将/opt 下的module software 权限修改为temp用户 [root@bogon /]# chown -R temp:temp /opt
从0建设离线数据仓库
weixin_42487706的博客
09-18 349
https://blog.csdn.net/u013411339/article/details/100146017
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值