Flink源码分析 | 读取HBase配置

置顶 已于 2024-01-12 15:12:35 修改
阅读量1.1k 收藏 19
点赞数 16
分类专栏： Flink 源码 文章标签： flink hbase 大数据
于 2023-12-18 19:51:32 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dkl12/article/details/135070347
版权
Flink 同时被 2 个专栏收录
20 篇文章 3 订阅 ¥49.90 ¥99.00
订阅专栏 超级会员免费看
源码
21 篇文章 3 订阅
订阅专栏
本文详细分析了Flink 1.15.4版本中读取HBase配置的源码逻辑，从HBase2DynamicTableFactory到HBaseDynamicTableSink和HBaseDynamicTableSource。探讨了不同配置的优先级，包括用户自定义参数、classpath、环境变量，并提供了调试代码和修改源码添加参数的方法。此外，还介绍了Flink连接远程HBase服务器时涉及的kerberos认证问题。
摘要由CSDN通过智能技术生成

前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。点击跳转到网站：https://www.captainai.net/dongkelun

1、前言

上面文章中总结了Flink 获取 HBase 配置的逻辑和优先级，但是并没有对源码进行分析，本文主要是补充这一部分的源码分析。

2、版本

  • Flink 1.15.4
  • HBase 2.0.2

3、入口

从我之前写的文章：Flink用户自定义连接器（Table API Connectors）学习总结 中可知其实Flink Table API 读写 HBase 其实和通过自定义实现一个Table API Connectors （‘connector’ = ‘hbase-2.2’）差不多，只不过 HBase Connector 是Flink源码自带的

了解本专栏 订阅专栏 解锁全文 超级会员免费看
董可伦
关注
专栏目录
订阅专栏
Flink 读写 HBase 总结
主要分享大数据相关的知识，如Spark、Hudi
12-09 1503
总结 Flink 读写 HBase本文总结了Flink SQL 读写 HBase 的参数配置，解决了在kerberos环境下因 hudi 包 hbase-site.xml 配置冲突引起的异常，学习总结了 Flink SQL 读写 HBase 时加载 HBase 配置的优先级，但是没有详细的分析源码中的逻辑，可能会在后面的文章中补充相关的源码分析~
Flink 日志总结
主要分享大数据相关的知识，如Spark、Hudi
12-25 1417
总结一下 Flink 项目代码打印日志的配置。
HBase读写的几种方式（三）flink篇
Swordfall的博客
03-20 1787
1. HBase连接的方式概况 主要分为： 纯JavaAPI读写HBase的方式； Spark读写HBase的方式； Flink读写HBase的方式； HBase通过Phoenix读写的方式； 第一种方式是HBase自身提供的比较原始的高效操作方式，而第二、第三则分别是Spark、Flink集成HBase的方式，最后一种是第三方插件Phoenix集成的JDBC方式，Phoen...
Flink1.2.1通过Table API / Flink SQL读取HBase2.4.0
Ashiamd的博客
02-11 654
最近需要整一个推荐系统，学了下Flink，整合HBase出了很多怪问题<= 主要还是Hadoop生态各种组件组合时的配置文件配置不熟悉。 1. 环境 废话不多说，这里用到的环境如下（不确定是否都必要，但是至少我是这个环境） zookeeper 3.6.2 Hbase 2.4.0 Flink 1.2.1 2. HBase表 # 创建表 create 'u_m_01' , 'u_m_r' # 插入数据 put 'u_m_01', 'a,A', 'u_m_r:r' , '1' put .
Flink 内容分享(七)：Flink 读写 HBase 总结
最新发布
之乎者也·的博客
12-30 3023
总结 Flink 读写 HBase本文总结了Flink SQL 读写 HBase 的参数配置，解决了在kerberos环境下因 hudi 包 hbase-site.xml 配置冲突引起的异常，学习总结了 Flink SQL 读写 HBase 时加载 HBase 配置的优先级，但是没有详细的分析源码中的逻辑，可能会在后面的文章中补充相关的源码分析~
使用Flink读取HBase数据
RonieWhite的博客
09-02 4265
2021-05-27 23:24:12.296 ERROR 11668 --- [nio-8080-exec-1] o.a.c.c.C.[.[.[/].[dispatcherServlet] : Servlet.service() for servlet [dispatcherServlet] in context with path [] threw exception [Handler dispatch failed; nested exception is java.lang.NoSuchFi.
Flink读取hbase的数据然后对数据进行业务操作以后写入到hbase中
不会写代码
09-28 1003
import cn.flink.streaming.sink.VehicleDetailSinkFunction; import cn.flink.streaming.source.VechileDetailSourceFunction; import org.apache.flink.api.common.restartstrategy.RestartStrategies; import org.apache.flink.api.java.tuple.Tuple9; import org.apache.f
FlinkSQL读取Hbase数据
Baron_ND的博客
08-06 7029
概述 最近项目中用到flink进行实时计算，流程为从kafka读取数据，如果是维度数据，则插入到hbase中，如果是需要实时计算的数据， 则进行实时计算，并将计算结果保存到MySQL中。在实时计算过程中，可能会用到hbase中的维度数据，为了开发的效率，使用flink-sql的方式实现。 flink-sql是在flink流式计算的基础上进行了高度抽象，使开发过程更简单，更有效率，但要理解sql执行背后的原理还是需要 仔细学习flink流式计算的相关内容。本文主要以flink-sql实现相关功能。 假设需
Flink读Hbase
lucasmaluping的专栏
05-20 660
package tmp import java.util import org.apache.flink.api.scala._ import org.apache.flink.configuration.Configuration import org.apache.flink.streaming.api.functions.source.{RichSourceFunction, SourceFunction} import org.apache.flink.streaming.api.scala.{D
Flink：异步IO关联HBase维表数据
qq_24325581的博客
07-20 2834
一、使用异步IO关联HBase维表数据优点 为避免在流计算环境中频繁的以同步方式查询外部维表，Flink官方提供使用异步IO与外部系统并发的交互方式，这样可以减轻因为网络交互引起的系统吞吐和延迟问题。当然，为了避免频繁与外部系统进行交互，建议使用内部缓存的方式存储近期容易使用到的维度数据，也就是LRU(最近最少使用)思想，业界经常使用的一个缓存机制是Guava 库提供的 CacheBuilder。 整体的设计思想就是：先用异步IO将HBase维表数据加载到缓存中，这样在关联维表时候先去缓存中查找，如果找不到
Flink/Hbase 异常 - 4.Sink 背压100% 与 hbase.util.RetryCounter.sleepUntilNextRetry 异常分析与排查
BITDDD小栈
05-07 1678
Flink-hbase 任务 hbase.util.RetryCounter.sleepUntilNextRetry 堆栈问题分析与排查。
flink读写hbase
wflh323的专栏
07-16 1932
开发flink读写hbase的程序时遇到总是连接本地localhost:2181 zookeeper的异常，demo如下: 代码总明明配置了zookeeper地址，执行时却总连接本地，跟踪代码发现，其创建连接并没有使用该配置，而是默认读取类路径下的hbase-site.xml配置文件，所以添加hbase配置文件，运行正常。 以下是平时flink测试时使用的依赖，供参考。 <properties> <spark.version>2.2.0</spark.ve.
Flink Table 读写Hbase
NuOne_plus的博客
10-09 1488
Flink Table 读写Hbase1、获取表环境2、创建Hbase表连接3、Hbase读取计算和写入3.1利用Flink SQL读取Hbase明细表和计算3.2写入Hbase聚合表4、pom5、demo代码 1、获取表环境 批处理为例 // 批执行环境 ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment(); // StreamExecutionEnvironment
flink-11 dataSet之集成HBASE读写数据
a3125504x的博客
09-21 1228
dataSet之connector文件系统connectorflink集成Hbase数据读取flink读取数据，然后写入HBase官网地址 文件系统connector fink内置支持从如下文件系统读取数据 文件系统 Schema 备注 HDFS hdfs:// Hdfs文件系统 S3 s3:// 通过hadoop文件系统实现支持 MapR maprfs:// 需要用户添加jar Alluxio alluxio:// 通过hadoop文件系统实现 注意 Flink允许用户
实操 | Flink1.12.1通过Table API / Flink SQL读取HBase2.4.0
微信搜：import_bigdata，大数据领域硬核原创作者
04-23 968
点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源昨天群里有人问 Flink 1.12 读取Hbase的问题，于是看到这篇文章分享给大家。本文作者Ashiamd。1. 环境废话不多...
flink实战--读写Hbase
阿华田的博客
01-18 8202
简介 在Flink文档中，提供connector读取源数据和把处理结果存储到外部系统中。但是没有提供数据库的connector，如果要读写数据库，官网给出了异步IO(Asynchronous I/O)专门用于访问外部数据，详细可看： https://ci.apache.org/projects/flink/flink-docs-release-1.6/dev/stream/o...
flink学习笔记-dataSet connector 集成hbase读写数据
陈同学
03-25 1790
Flink允许用户使用实现org.apache.hadoop.fs.FileSystem接口的任何文件系统。例如S3、 Google Cloud Storage Connector for Hadoop、 Alluxio、 XtreemFS、 FTP等各种文件系统 Flink与Apache Hadoop MapReduce接口兼容，因此允许重用Hadoop MapReduce实现的代码 使用H...
HBase读写的几种方式（三）flink篇（转载自：https://www.cnblogs.com/swordfall/p/10527423.html）
guorun18的专栏
04-02 1081
1. HBase连接的方式概况 主要分为： 纯JavaAPI读写HBase的方式； Spark读写HBase的方式； Flink读写HBase的方式； HBase通过Phoenix读写的方式； 第一种方式是HBase自身提供的比较原始的高效操作方式，而第二、第三则分别是Spark、Flink集成HBase的方式，最后一种是第三方插件Phoenix集成的JDBC方式，Phoenix集成的...
FlinkTable HbaseConnector范例
GavinKai
10-21 1353
这个源码也有这个是1.14的，但是1.12要用，还没改connectorname spi不要冲突了 /* * Licensed to the Apache Software Foundation (ASF) under one * or more contributor license agreements. See the NOTICE file * distributed with this work for additional information * regarding copy.
flink读取hbase
07-08
5. 配置好Flink的运行环境，启动Flink作业，即可实现从Kafka读取数据并写入HBase的功能。 需要注意的是，在使用HBase Connector时需要配置好HBase的连接信息，包括Zookeeper地址、HBase表名等。同时，还需要根据...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

董可伦

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值