hudi集群环境搭建（hudi+hadoop+spark+zk+kafka）

最新推荐文章于 2024-03-26 22:26:13 发布
最新推荐文章于 2024-03-26 22:26:13 发布
阅读量1.2k 收藏 2
点赞数
分类专栏： java 文章标签： hadoop spark kafka spring boot java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_59092234/article/details/126737463
版权

一、集群环境配置

1.集群配置

hostname

slave1

slave2

slave3

ip

192.168.100.164

192.168.100.163

192.168.100.162

内存

16G

16G

8G

usernmae

root

root

root

安装常用工具

yum install -y epel-release
yum install -y net-tools 
yum install -y vim

2.集群常用脚本

用户bin目录下

2.1 集群分发脚本xsync
#!/bin/bash
#1. 判断参数个数
if [ $# -lt 1 ]
then
  echo Not Enough Arguement!
  exit;
fi
#2. 遍历集群所有机器
for host in slave1 slave2 slave3
do
#!/bin/bash
#1. 判断参数个数
if [ $# -lt 1 ]
then
  echo Not Enough Arguement!
  exit;
fi
#2. 遍历集群所有机器
for host in slave1 slave2 slave3
do
  echo ====================  $host  ====================
  #3. 遍历所有目录，挨个发送
  for file in $@
  do
    #4 判断文件是否存在
    if [ -e $file ]
    then
      #5. 获取父目录
      pdir=$(cd -P $(dirname $file); pwd)
      #6. 获取当前文件的名称
      fname=$(basename $file)
      ssh $host "mkdir -p $pdir"
      rsync -av $pdir/$fname $host:$pdir
    else
      echo $file does not exists!
    fi
  done
done
2.2 集群命令脚本xcall.sh
#! /bin/bash
 
for i in slave1 slave2 slave3
do
    echo --------- $i ----------
    ssh $i "$*"
done
2.3 群起hadoop集群脚本 hdp.sh
#!/bin/bash
if [ $# -lt 1 ]
then
    echo "No Args Input..."
    exit ;
fi
case $1 in
"start")
        echo " =================== 启动 hadoop集群 ==================="

        echo " --------------- 启动 hdfs ---------------"
        ssh slave1 "/opt/module/hadoop-2.7.3/sbin/start-dfs.sh"
        echo " --------------- 启动 yarn ---------------"
        ssh slave2 "/opt/module/hadoop-2.7.3/sbin/start-yarn.sh"
        echo " --------------- 启动 historyserver ---------------"
        ssh slave1 "/opt/module/hadoop-2.7.3/sbin/mr-jobhistory-daemon.sh start historyserver"
;;
"stop")
        echo " =================== 关闭 hadoop集群 ==================="

        echo " --------------- 关闭 historyserver ---------------"
        ssh slave1 "/opt/module/hadoop-2.7.3/sbin/mr-jobhistory-daemon.sh stop historyserverr"
        echo " --------------- 关闭 yarn ---------------"
        ssh slave2 "/opt/module/hadoop-2.7.3/sbin/stop-yarn.sh"
        echo " --------------- 关闭 hdfs ---------------"
        ssh slave1 "/opt/module/hadoop-2.7.3/sbin/stop-dfs.sh"
;;
*)
    echo "Input Args Error..."
;;
esac
2.4 群起zookeeper集群脚本zk.sh
#!/bin/bash

case $1 in
"start"){
	for i in slave1 slave2 slave3
	do
        echo ---------- zookeeper $i 启动 ------------
		ssh $i "/opt/module/zookeeper-3.4.6/bin/zkServer.sh start"
	done
};;
"stop"){
	for i in slave1 slave2 slave3
	do
        echo ---------- zookeeper $i 停止 ------------    
		ssh $i "/opt/module/zookeeper-3.4.6/bin/zkServer.sh stop"
	done
};;
"status"){
	for i in slave1 slave2 slave3
	do
        echo ---------- zookeeper $i 状态 ------------    
		ssh $i "/opt/module/zookeeper-3.4.6/bin/zkServer.sh status"
	done
};;
esac
2.5 群起kafka集群脚本kf.sh
#! /bin/bash

case $1 in
"start"){
    for i in slave1 slave2 slave3
    do
        echo " --------启动 $i Kafka-------"
        ssh $i "/opt/module/kafka_2.12-2.4.1/bin/kafka-server-start.sh -daemon /opt/module/kafka_2.12-2.4.1/config/server.properties"
    done
};;
"stop"){
    for i in slave1 slave2 slave3
    do
        echo " --------停止 $i Kafka-------"
        ssh $i "/opt/module/kafka_2.12-2.4.1/bin/kafka-server-stop.sh stop"
    done
};;
esac

3.环境配置

slave1

slave2

slave3

HDFS

NameNode DataNode

DataNode

DataNode SecondaryNameNode

Yarn

NodeManager

Resourcemanager NodeManager

NodeManager

zk

zk

zk

zk

kafka

kafka

kafka

kafka

/opt/software ：软件压缩包

/opt/module ：解压后的软件

3.1 jdk和maven

vi /etc/profile.d/my_env.sh

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin

#MAVEN_HOME
export MAVEN_HOME=/opt/module/maven-3.8.4
export PATH=$PATH:$MAVEN_HOME/bin

source /etc/profile.d/my_env.sh

3.2 hadoop2.7.3
3.2.1 HADOOP_HOME

vi /etc/profile.d/my_env.sh

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-2.7.3
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile.d/my_env.sh

3.2.1 core-site.xml
<configuration>
	<!-- 指定NameNode的地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://slave1:8020</value>
</property>
<!-- 指定hadoop数据的存储目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop-2.7.3/data</value>
</property>

<!-- 配置HDFS网页登录使用的静态用户为root -->
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>root</value>
</property>

<!-- 配置该root(superUser)允许通过代理访问的主机节点 -->
    <property>
        <name>hadoop.proxyuser.root.hosts</name>
        <value>*</value>
</property>
<!-- 配置该root(superUser)允许通过代理用户所属组 -->
    <property>
        <name>hadoop.proxyuser.root.groups</name>
        <value>*</value>
</property>
<!-- 配置该root(superUser)允许通过代理的用户-->
    <property>
        <name>hadoop.proxyuser.root.users</name>
        <value>*</value>
</property>
</configuration>
3.2.2 hdfs-site.xml
<configuration>
	<!-- nn web端访问地址-->
	<property>
        <name>dfs.namenode.http-address</name>
        <value>slave1:9870</value>
    </property>
    
	<!-- 2nn web端访问地址-->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>slave3:9868</value>
    </property>
    
    <!-- 测试环境指定HDFS副本的数量3 -->
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
</configuration>
3.2.3 yarn-site.xml
<configuration>
	<!-- 指定MR走shuffle -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    
    <!-- 指定ResourceManager的地址-->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>slave2</value>
    </property>
    
    <!-- 环境变量的继承 -->
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
    
    <!-- yarn容器允许分配的最大最小内存 -->
    <property>
        <name>yarn.scheduler.minimum-allocation-mb</name>
        <value>512</value>
    </property>
    <property>
        <name>yarn.scheduler.maximum-allocation-mb</name>
        <value>4096</value>
    </property>
    
    <!-- yarn容器允许管理的物理内存大小 -->
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>4096</value>
    </property>
    
    <!-- 关闭yarn对虚拟内存的限制检查 -->
    <property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
    </property>
    <!-- 开启日志聚集功能 -->
    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>

    <!-- 设置日志聚集服务器地址 -->
    <property>  
        <name>yarn.log.server.url</name>  
        <value>http://slave1:19888/jobhistory/logs</value>
    </property>

    <!-- 设置日志保留时间为7天 -->
    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>604800</value>
    </property>
</configuration>
3.2.4 mapred-site.xml
<configuration>
	<!-- 指定MapReduce程序运行在Yarn上 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <!-- 历史服务器端地址 -->
	<property>
   	 	<name>mapreduce.jobhistory.address</name>
   	 	<value>slave1:10020</value>
	</property>
<!-- 历史服务器web端地址 -->
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>slave1:19888</value>
    </property>	
</configuration>
3.2.5 workers
slave1
slave2
slave3
3.2.6 hadoop-env.sh
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

启动前格式化namenode

$HADOOP_HOME/bin/hdfs namenode -format

关闭防火墙

systemctl stop firewalld

在slave2开启节点均衡计划

$HADOOP_HOME/sbin/start-balancer.sh -threshold 10
stop-balancer.sh
3.2.7 启动测试
http://slave1:9870

1648286039511.png

http://slave2:8088

1648286082774.png

http://slave1:19888

1648286104412.png

3.3 hudi0.9

上传并解压hudi安装包

hudi测试启动

./hudi-cli/hudi-cli.sh

1648281608819.png

配置完进行集群分发

3.4 spark3.0.0
3.4.1 scala2.12.0
#SCALA_HOME
export SCALA_HOME=/opt/module/scala-2.12.10
export PATH=$PATH:$SCALA_HOME/bin

#SPARK_HOME
export SPARK_HOME=/opt/module/spark-3.0.0-bin-hadoop2.7
export PATH=$PATH:$SPARK_HOME/bin
3.4.2 spark_env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_212
export SCALA_HOME=/opt/module/scala-2.12.10
3.4.3 测试启动
$SPARK_HOME/bin/spark-shell --master local[2]

1648281501998.png

3.4.4 spark集成hudi

1）上传相关jar包至/root/hudi-jars

2）启动spark

$SPARK_HOME/bin/spark-shell 
--master local[2] 
--jars /root/hudi-jars/hudi-spark3-bundle_2.12-0.9.0.jar,
/root/hudi-jars/spark_unused-1.0.0.jar,/root/hudi-jars/spark-avro_2.12-3.0.1.jar 
--conf "spark.serializer=org.apache.spark.serializer.KryoSerializer"

1648282284627.png

配置完进行集群分发

3.5 zookerper3.4.6

上传解压至/opt/module

3.5.1 环境变量
#ZOOKERPER_HOME
export ZOOKERPER_HOME=/opt/module/zookeeper-3.4.6
export PATH=$PATH:$ZOOKERPER_HOME/bin
3.5.2 配置服务器编号

zookeeper目录下

mkdir zkData
#在zkData目录内
vim myid
1

注意集群每个都需要配编号，分别为1、2、3

3.5.3 zoo.cfg
dataDir=/opt/module/zookeeper-3.4.6/zkData

server.1=slave1:2888:3888
server.2=slave2:2888:3888
server.3=slave3:2888:3888

配置完进行集群分发

3.5.4 测试
zk.sh start
zk.sh status

1648284478102.png

3.6 kafka2.12
3.6.1 环境变量
#KAFKA_HOME
export KAFKA_HOME=/opt/module/kafka_2.12-2.4.1
export PATH=$PATH:$KAFKA_HOME/bin
3.6.2 server.properties

kafka目录下

mkdir logs
vim server.properties


修改或者增加以下内容：
#broker的全局唯一编号，不能重复
broker.id=0
#删除topic功能使能
delete.topic.enable=true
#kafka运行日志存放的路径
log.dirs=/opt/module/kafka_2.12-2.4.1/data
#配置连接Zookeeper集群地址
zookeeper.connect=slave1,slave2,slave3:2181/kafka

注意修改其他服务器的broker.id

3.6.3启动测试
kf.sh start

1648285474530.png

bluepad
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
hudi-hadoop-mr-bundle-0.11.0.jar
06-28
hudi-hadoop-mr-bundle-0.11.0.jar 配合文档
Flink +hudi+presto 流程图.docx
04-29
Flink +hudi+presto 流程图.docx 自己实现后画的一个流程图，便于理解
安装部署编译hudi-0.9.0
LZX的博客
01-20 1982
hudi 0.9.0 需要->spark3.0.x spark3.0.x需要->scala 2.12.x / jdk1.8u25x+ 一. 配置所需环境 配置java1.8环境 scala2.12.10环境 spark3.0.2环境变量 二. 安装配置maven 解压maven 包到指定位置 tar -zxvf apache-maven-3.6.1-bin.tar.gz -C /opt/soft 添加maven环境变量 vim /etc/profile source /etc/.
Hudi最强指南 — Hudi的安装部署（Linux）
最新发布
2301_78038072的博客
03-26 2683
随着大数据技术的飞速发展，企业对于数据处理的效率和实时性的要求也越来越高。Hadoop作为大数据领域的领军技术，长久以来一直承载着海量数据的存储和处理任务。然而，传统的Hadoop数据模型在处理更新和删除操作时的局限性，使得它难以满足实时数据湖等复杂场景的需求。正是在这样的背景下，Hudi应运而生。
Hudi学习五：Hudi与Hive集成
NC_NE的博客
06-18 5467
Hudi与hive集成
Flink1.12.2集成hudi0.9.0+同步hive实践
dudu146863的博客
09-07 4764
目录 一、组件下载 二、Batch模式实施步骤： 2.1 启动flink-sql客户端 2.2 创建表 2.3插入数据 2.4 根据主键更新数据 三、stream模式实现步骤： 3.1 创建表 3.2从批模式写入一条数据 3.3隔几秒后在流模式可以读取到一条新增的数据 四.Hive 同步 4.1 hudi编译： 4.2. Hive 环境准备 1.启动hive元数据 2.在 Hive 服务器导入 Hudi 包 4.3. Hive 配置模版 3.1源表的建表语句: 3.1..
基于Flink+Hudi构建企业亿级云上实时数据湖教程（PC、移动、小
02-24
随着互联网的发展，数据的不断膨胀，从刚开始的关系型数据库到非关系型数据库，再到大数据技术，技术的不断演进最终是随着数据膨胀而不断改变，最初的数据仓库能解决我们的问题，但是随着时代发展，企业已经不满足于数据仓库，希望有更强大的技术来支撑数据的存储，包括结构化，非结构化的数据等，希望能够积累企业的数据，从中挖掘出更大的价值。基于这个背景，数据湖的技术应运而生。本课程基于真实的企业数据湖案例进行讲解，结合业务实现数据湖平台，让大家在实践中理解和掌握数据湖技术，未来数据湖的需求也会不断加大，希望同学们抓住这个机遇。项目中将以热门的互联网电商业务场景为案例讲解，具体分析指标包含：流量分析，订单分析，用户行为分析，营销分析，广告分析等，能承载海量数据的实时分析，数据分析涵盖全端（PC、移动、小程序）应用。Apache Hudi代表Hadoop Upserts anD Incrementals，管理大型分析数据集在HDFS上的存储。Hudi的主要目的是高效减少摄取过程中的数据延迟。Hudi的出现解决了现有hadoop体系的几个问题：1、HDFS的可伸缩性限制 2、需要在Hadoop中更快地呈现数据 3、没有直接支持对现有数据的更新和删除 4、快速的ETL和建模 5、要检索所有更新的记录，无论这些更新是添加到最近日期分区的新记录还是对旧数据的更新，Hudi都允许用户使用最后一个检查点时间戳，此过程不用执行扫描整个源表的查询。 本课程包含的技术： 开发工具为：IDEA、WebStorm Flink1.9.0、HudiClickHouseHadoop2.7.5 Hbase2.2.6Kafka2.1.0 Hive2.2.0HDFS、MapReduceSpark、ZookeeperBinlog、Canal、MySQLSpringBoot2.0.2.RELEASE SpringCloud Finchley.RELEASEVue.js、Nodejs、HighchartsLinux Shell编程课程亮点： 1.与企业接轨、真实工业界产品 2.ClickHouse高性能列式存储数据库 3.大数据热门技术Flink4.Flink join 实战 5.Hudi数据湖技术6.集成指标明细查询 7.主流微服务后端系统 8.数据库实时同步解决方案 9.涵盖主流前端技术VUE+jQuery+Ajax+NodeJS 10.集成SpringCloud实现统一整合方案 11.互联网大数据企业热门技术栈 12.支持海量数据的实时分析 13.支持全端实时数据分析 14.全程代码实操，提供全部代码和资料 15.提供答疑和提供企业技术方案咨询企业一线架构师讲授，代码在老师的指导下企业可以复用，提供企业解决方案。  版权归作者所有，盗版将进行法律维权。  
hudi搭建【大数据比赛长期更新】
qq_52612109的博客
05-24 2204
hudi搭建 题目分析 本任务需要使用root用户完成相关配置，具体要求如下： 1、 从宿主机/opt目录下将maven相关安装包复制到容器Master中的/opt/software（若路径不存在，则需新建）中，将maven相关安装包解压到/opt/module/目录下（若路径不存在，则需新建）并配置maven本地库为/opt/software/RepMaven/，远程仓库使用阿里云镜像，配置maven的环境变量，并在/opt/下执行mvn -v，将运行结果截图粘贴至客户端桌面【Release\任务A提交
Hudi学习6：安装和基本操作
hzp666的博客
06-30 3000
Hudi数据集的组织目录结构与Hive表示非常相似，一份数据集对应这一个根目录。数据集被打散为多个分区，分区字段以文件夹形式存在，该文件夹包含该分区的所有文件。■在根目录下，每个分区都有唯一的分区路径，每个分区数据存储在多个文件中。■每个文件都有惟一的fileId和生成文件的commit所标识。如果发生更新操作时，多个文件共享相同的fileId，但会有不同的commit。■每条记录由记录的key值进行标识并映射到一个fileId。
hadoop 3.x大数据集群搭建系列7-安装Hudi
只是甲的博客
12-01 3371
hadoop 大数据平台搭建 数据湖hudi 编译安装
使用spark操作hudi表
03-14
使用spark操作hudi表： 1、查询hudi表数据 2、查看hudi表结构信息
基于Flink + Hudi + JuiceFS的实时数据湖方案.png
11-11
基于Flink + Hudi + JuiceFS的实时数据湖方案
hudi0.11.0、flink1.14.4、spark3.2.1编译
05-27
基于hudi0.11.0、flink1.14.4、spark3.2.1编译。有需要的自行下载
Hudi 基础入门篇
黑马程序员官方博客
08-31 386
​国内很多大公司，都在使用Hudi，构建数据湖，并且与大数据仓库整合，搭建湖仓一体化平台​。
基于 Ubuntu 玩转 Hudi Docker Demo （1）—— 集群安装
修破立生
02-09 1438
基于 Ubuntu 玩转 Hudi Docker Demo 本文主要内容如下： - 环境准备，Docker，kafkacat, jp安装， /etc/hosts 文件修改等 - Hudi 编译 - 基于 Docker 搭建测试集群，包含 hdfs/hive/spark/presto 等组件
数据湖搭建
yygyj的博客
09-30 517
数据湖
数据湖 Hudi 0.12.0 编译搭建——集成 Hive3.x 与 Spark3.x
JIE的博客
12-11 5193
Hudi 默认依赖的 Hadoop 为 Hadoop2.x，要兼容 Hadoop3.x，则需要修改 Hudi 源码。找到镜像依赖配置，添加新的下载依赖，我这里选用的阿里云依赖，必须放在第一个，否则不会起作用。找到镜像属性配置的那里，添加镜像，我这里选用的阿里云镜像。文件中的大约第 110 行中的参数中添加一个。，而 Hudi 本身用的 jetty 版本是。我这里使用的 Maven 版本为。，其携带的 jetty 版本是。，存在依赖冲突，会造成编译错误。文件，修改组件的对应版本号。编译完成后，相关的包都在。
Hadoop生态圈集群部署（完整版）
矿泉水瓶子
03-17 648
大数据平台机器部署，包含Hadoop，Hive，Hbase，Kafka，Flink等常用组件，持续更新~
hudi+hive+clickhouse
03-08
这似乎是一个关于大数据处理的问题，我可以回答。Hudi、Hive 和 ClickHouse 都是大数据处理领域中常用的工具。Hudi 是一个开源的数据湖解决方案，可以用于实时数据处理和离线数据分析。Hive 是一个基于 Hadoop 的数据仓库工具，可以用于 SQL 查询和数据分析。ClickHouse 是一个高性能的列式数据库，可以用于实时数据分析和 OLAP 查询。这些工具都有各自的优点和适用场景，具体使用要根据实际需求进行选择。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

bluepad

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值