Flink 读写 HBase 总结

置顶 已于 2023-12-18 19:54:47 修改
阅读量1.4k 收藏 23
点赞数 21
分类专栏： Flink 文章标签： flink hbase 大数据
于 2023-12-09 09:45:56 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dkl12/article/details/134891103
版权
本文详细介绍了Flink 1.15.4版本与HBase 2.0.2之间的读写操作，包括Hbase shell创建表、Flink SQL的使用、参数配置等。同时，针对Hudi 0.13.0在kerberos环境下的兼容性问题进行了深入探讨，提出了五种解决方案，重点关注了配置加载的优先级和解决配置冲突的方法。
摘要由CSDN通过智能技术生成
了解本专栏 订阅专栏 解锁全文 超级会员免费看
董可伦
关注
专栏目录
订阅专栏
Flink源码分析 | 读取HBase配置
主要分享大数据相关的知识，如Spark、Hudi
12-18 1109
上面文章中总结了Flink 获取 HBase 配置的逻辑和优先级，但是并没有对源码进行分析，本文主要是补充这一部分的源码分析。
flink读写hbase
wflh323的专栏
07-16 1922
开发flink读写hbase的程序时遇到总是连接本地localhost:2181 zookeeper的异常，demo如下: 代码总明明配置了zookeeper地址，执行时却总连接本地，跟踪代码发现，其创建连接并没有使用该配置，而是默认读取类路径下的hbase-site.xml配置文件，所以添加hbase配置文件，运行正常。 以下是平时flink测试时使用的依赖，供参考。 <properties> <spark.version>2.2.0</spark.ve.
Flink 内容分享(七)：Flink 读写 HBase 总结
之乎者也·的博客
12-30 2810
总结 Flink 读写 HBase本文总结了Flink SQL 读写 HBase 的参数配置，解决了在kerberos环境下因 hudi 包 hbase-site.xml 配置冲突引起的异常，学习总结了 Flink SQL 读写 HBase 时加载 HBase 配置的优先级，但是没有详细的分析源码中的逻辑，可能会在后面的文章中补充相关的源码分析~
flink-sql-1.15.4配置hive catalog和hbase基于CDH6.3.2和kerberos
h952520296的博客
02-02 1341
使用flink源码重新编译生成flink-sql-connector-hive-2.2.0_2.11，编译之前需要修改flink-sql-connector-hive-2.2.0中的pom文件，将hive-exec的版本改成2.1.1-cdh6.3.2。位置在flink-connectors/flink-sql-connector-hive-2.2.0/flink-sql-connector-hive-2.2.0_2.12-1.15.3.jar。有大佬能解决望赐教。java 我的版本和cdh使用的一致。
[大数据]flink1.15.4集群部署
yyq2272的博客
01-17 470
flink1.15.4集群部署。
flink写入hbase
u012447842的博客
05-14 9264
参考： https://www.cnblogs.com/swordfall/p/10527423.html flink 流处理写入数据到hbase. 采用的是批量写入（500条数据写入一次）。 HBaseWriter.java package com.flink; import com.flink.model.DeviceData; import org.apache.commo...
Flink写入Hbase
一个数据小开发的博客
12-29 3580
1、在构建实时数仓的时候，通常会把dim层的数据存入hbase，这样做的好处一个是利用hbase的幂等性的功能，维度表基本上都会有数据唯一性，第二个在实时性要求的场景下，可以做数据点查关联，效率上得到一定的保障。 部分sink代码如下： private transient Connection hbaseConnection; private transient Connection hbaseConnection; private Admin hbaseAdmin; p
flink连接hbase
zhdan~的专栏
03-07 2607
flink1.9之前没有hbase连接器的实现，写hbase需要自定义sink。实现一个通用的hbaseSink.
Flink读取hbase的数据然后对数据进行业务操作以后写入到hbase中
不会写代码
09-28 991
import cn.flink.streaming.sink.VehicleDetailSinkFunction; import cn.flink.streaming.source.VechileDetailSourceFunction; import org.apache.flink.api.common.restartstrategy.RestartStrategies; import org.apache.flink.api.java.tuple.Tuple9; import org.apache.f
HBase与ApacheFlink集成
AI天才研究院
01-23 1041
1.背景介绍 HBase与ApacheFlink集成是一种高性能、可扩展的大数据处理解决方案。在本文中，我们将深入了解HBase和ApacheFlink的核心概念、联系、算法原理、最佳实践、应用场景、工具和资源推荐以及未来发展趋势与挑战。 1. 背景介绍 HBase是一个分布式、可扩展、高性能的列式存储系统，基于Google的Bigtable设计。它可以存储大量数据，并提供快速的随机读写访问...
Flink数据实时写入HBase
最新发布
roi666的博客
01-26 673
【代码】Flink数据实时写入HBase。
Flink使用总结
csdncjh的博客
07-09 605
本文主要是为Flink的java客户端使用和flink-sql使用的大致介绍，具体使用查看文档页面。
FLink学习笔记：01-Flink集群搭建
04-27 341
文章目录集群规划1、下载安装包2、解压文件3.配置Flinkmasters文件workersflink-conf.yaml环境变量启动集群 集群规划 机器名称 IP 角色 k8s-node3 192.168.0.52 master k8s-node5 192.168.0.52 slave k8s-node8 192.168.0.52 slave 1、下载安装包 下载对应scala版本的flink，1.14支持hadoop2.X以上的版本 在K8s-node3服务器上执行操作： w
【好文收藏】Flink1.14.3 Table与HBase集成遇到的坑
大数据研习社
04-26 1432
摘 要 1.使用最新Flink1.14.3版本集成HBase，很多老的API已经过时。 2.Flink1.14.3与HBase集成有很多兼容性问题 3.Flink1.14.3与HBase集成实现代码比较稀缺，即使官方文档也有很多问题没有交代清楚，有很多坑。 1 需求 需求：Flink Table API从HBase NOSQL数据库读取表数据。 2 添加Maven依赖 FlinkTable集成HBase需引⼊如下依赖： <dependency> <groupId>..
Flink1.8实时数仓项目实战
08-26
《Flink1.8实时数仓项目实战》课程主要基于Flink**稳定版本进行讲解，课程包含Flink DataSet、容错、Connector、Flink SQL以及实时数仓项目。希望通过本课程的学习，大家能快速掌握Flink 批处理和Flink SQL，并通过实时数仓项目快速积累项目经验。
flink实战--读写Hbase
阿华田的博客
01-18 8186
简介 在Flink文档中，提供connector读取源数据和把处理结果存储到外部系统中。但是没有提供数据库的connector，如果要读写数据库，官网给出了异步IO(Asynchronous I/O)专门用于访问外部数据，详细可看： https://ci.apache.org/projects/flink/flink-docs-release-1.6/dev/stream/o...
kafka-flink-hbase
我见青山多妩媚，料青山见我应如是
11-26 2268
前言 flink现在是越来越火了，我最近也有在看flink官网，上周五一个朋友叫我写个flink读取kafka，还有读取mysql，本人比较苦逼，没有实验集群，样例是写出来了，能不能成事，你们用自己的集群测试一下 flink-1.6.2 kafka-0.10 Maven pom.xml &amp;lt;!--hadoop--&amp;gt; &amp;lt;dependency&amp;gt; ...
flinksql hbase 维表
08-02
FlinkSQL中如何关联Hbase大表，如果关联字段不是Hbase维表的rowkey，将会触发全表扫描。FlinkSQL的Hbase connector不会处理索引，所以我们可以采用自己维护索引表的方式来解决这个问题。具体实现方式可以参考Hbase二级索引的知识。[1] 在FlinkSQL中，我们可以通过Flink HBase SQL Connector从HBase读取维度数据，进行数据补全。首先需要引入相关依赖，如下所示： ```xml <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-hbase-2.2_${scala.binary.version}</artifactId> <version>${flink.version}</version> </dependency> ``` 然后可以注册Kafka表和Hbase表，示例如下： ```sql CREATE TABLE fact( key STRING, value1 STRING, proctime AS PROCTIME() ) WITH ( 'connector' = 'kafka', 'topic' = 'test-hb', 'properties.bootstrap.servers' = 'localhost:9092', 'properties.group.id' = 'testGroup', 'scan.startup.mode' = 'latest-offset', 'format' = 'json' ); CREATE TABLE hb_stream( rowkey String, cf ROW<age String, name String>, PRIMARY KEY (rowkey) NOT ENFORCED ) WITH ( 'connector' = 'hbase-2.2', 'table-name' = 'test', 'zookeeper.quorum' = 'localhost:12181' ); ``` 通过以上配置，我们可以在FlinkSQL中使用Hbase维表进行关联操作。[2] 在实时数据开发中，通常会使用Spark或Flink消费Kafka数据流，并与外部数据库（如Hbase、MySQL等）进行维表关联。如果外部数据库中既包含维度数据，又包含大量的事实数据，并且这些数据更新频繁且数据量巨大，我们需要选择一个适合的外部数据库来支持实时场景的需求。Hbase是一个可以满足海量数据高效读写性能的外部数据库，因此在这种情况下可以选择使用Hbase作为支持。[3]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

董可伦

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值