Flink写数据（Sink）到HBASE报错解决

最新推荐文章于 2024-03-19 14:52:55 发布
VIP文章 最新推荐文章于 2024-03-19 14:52:55 发布
阅读量3.1k 收藏 4
点赞数
分类专栏： 技术和原理 项目实践 文章标签： flink hbase
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yunzailin/article/details/123808489
版权

最近在做一个实时数仓的项目，需要把维度数据打入到HBASE中，以便实时分析时使用。在写入数据到HBASE中时，遇到了以下问题：

1、连接报错：

        根据提示，应该是连接被关闭了

Caused by: java.lang.IllegalArgumentException: Connection is null or closed.
	at org.apache.hadoop.hbase.client.HTable.<init>(HTable.java:308)
	at org.apache.hadoop.hbase.client.ConnectionManager$HConnectionImplementation.getTable(ConnectionManager.java:747)
	at org.apache.hadoop.hbase.client.ConnectionManager$HConnectionImplementation.getTable(ConnectionManager.java:729)
	at org.apache.hadoop.hbase.client.ConnectionManager$HConnectionImplementation.getTable(ConnectionManager.java:553)
	at cn.naixue.dwd.dim.DimHbaseSink$HBseSink.invoke(DimHbaseSink.java:115)

代码中看起来没什么问题：

 //初始化hbase连接conf和conn
        private static org.apache.hadoop.conf.Configuration conf;
        private static Connection conn;
       
        @Override
        public
最低0.47元/天 解锁文章
yunzailin
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
flink实战--开发中常见的错误与问题
阿华田的博客
12-19 1万+
常见错误集 1.Checkpoint失败：Checkpoint expired before completing env.enableCheckpointing(1000L) val checkpointConf = env.getCheckpointConfig checkpointConf.setMinPauseBetweenCheckp...
flink-clickhouse-sink:Flink水槽的Clickhouse
05-17
Flink-ClickHouse-Sink 描述 用于数据库的器。 由。 用于将数据加载到ClickHouse的高性能库。 它有两个触发器来加载数据：超时和缓冲区大小。 版本图 闪烁 flink-clickhouse-sink 1.3。* 1.0.0 1.9。* 1.3.1 安装 Maven中央 < dependency> < groupId>ru.ivi.opensource</ groupId> < artifactId>flink-clickhouse-sink</ artifactId> < version>1.3.1</ version> </ dependency> 用法 特性 flink-clickhouse-sink使用配置属性的两个部分：common和操作员链中的每个接收器。 共同的部分（像全局一样使用）： clickhouse
mysql中文正常，Flink SQL乱码怎么处理
Wine_95的博客
12-13 538
mysql读取中文是正常的，但是flink SQL 读就是乱码，是什么原因呢
如何使用Flink连接openGauss数据库（flink-cdc-connector）
最新发布
2401_83143557的博客
03-19 1125
本文会在最后附上代码修改的git patch首先简单介绍下flink，Apache Flink是由Apache软件基金会开发的开源流处理框架，其核心是用Java和Scala编写的分布式流数据流引擎。Flink以数据并行和管道方式执行任意流数据程序，Flink的流水线运行时系统可以执行批处理和流处理程序。此外，Flink的运行时本身也支持迭代算法的执行。Flink提供高吞吐量、低延迟的流数据引擎以及对事件-时间处理和状态管理的支持。
Flink和Spark中文乱码问题
IT_xhf的专栏
06-08 1603
近期开发Flink CDC 读取mysql数据写入到HDFS，发现写入中文乱码，排查了数据库编码和文件编码都没有问题，后来网上查了一些资料，修改flink.conf文件，新增如下内容 Spark中文乱码 也排查了数据库编码和文件编码没有问题，在程序启动参数中新增–conf spark.executor.extraJavaOptions=“-Dfile.encoding=UTF-8” --conf spark.driver.extraJavaOptions=“-Dfile.encoding=UTF-8” 完整
FlinkCDC中文乱码问题
m0_57320261的博客
01-31 151
flink-conf.yaml文件中添加两个参数。注意添加位置在最后,防止被覆盖。
CDH集成了Kerberos后写入数据到HBase遇到的几个问题
zhangs_123的博客
04-01 3447
目录环境和场景问题一：Zookeeper认证错误解决方法问题二：HBase权限错误解决方法 环境和场景 环境：CDH6.3.1+Kerberos 场景：数据经Flink处理后写入到Hbase 问题一：Zookeeper认证错误 报错内容：Flink Task Managers日志 2022-03-14 15:02:25,599 INFO org.apache.zookeeper.ClientCnxn [] - Session establishme
FlinkSQL hbase连接器读取数据失败问题
TreeCode的博客
08-17 867
sql： tEnv.executeSql("DROP TABLE IF EXISTS ywb_source"); tEnv.executeSql( "CREATE TABLE ywb_source (\n" + " rowkey STRING,\n" + " info1 ROW<name STRING>,\n" +
记一次flink项目落数据库时产生的报错
DRD
03-22 236
报错如下 java.lang.Throwable:String or binary data would be truncated. at com.microsoft.sqlserver.jdbc.SQLServerStatement.executeBatch(SQLServerStatement.java:1830) at tianrang.jdbc.jdbcOperations.batchExec(JdbcOperations.java:52) at ......batchExec(Jdbc
Flink批处理将数据写入Hbase
别人笑我太疯癫，我笑他人看不穿。
04-18 1424
Flink写出通过自定义Sink实现 pom如下 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http:/
使用Flink读取HBase数据
RonieWhite的博客
09-02 4038
2021-05-27 23:24:12.296 ERROR 11668 --- [nio-8080-exec-1] o.a.c.c.C.[.[.[/].[dispatcherServlet] : Servlet.service() for servlet [dispatcherServlet] in context with path [] threw exception [Handler dispatch failed; nested exception is java.lang.NoSuchFi.
FlinkSQL实战：HBase的结合应用
02-23
可以实时写HBase，也可以利用buckload一把把离线Job生成HFileLoad到HBase表中。而当下FlinkSQL的火热程度不用多说，FlinkSQL也为HBase提供了connector，因此HBase与FlinkSQL的结合非常有必要实践实践。当然，本文...
flink clickhouse sink
02-07
flink clickhouse sink
Flink笔记(二十四)：Flink 数据 保存 Redis(自定义Redis Sink)
01-07
本文主要来介绍 Flink 读取 Kafka数据，并实时下沉(Sink)数据到 Redis 的过程。  通过如下链接：Flink官方文档，我们知道数据保存到 Redis 的容错机制是 at least once。所以我们通过幂等操作，使用新数据覆盖旧...
Flink读写系列之-读HBase并写入HBase
热门推荐
A coder of life
10-22 2万+
这里读HBase提供两种方式，一种是继承RichSourceFunction，重写父类方法，一种是实现OutputFormat接口，具体代码如下： 方式一：继承RichSourceFunction package com.my.flink.utils.streaming.hbase; import com.my.flink.utils.config.ConfigKeys; import o...
Flink实战实例（十一）: hbase 读写
微信搜：import_bigdata，大数据领域硬核原创作者
01-20 1328
声明：本系列博客是根据SGG的视频整理而成，非常适合大家入门学习。 《2021年最新版大数据面试题全面开启更新》 1 工程目录 pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" ...
Flink操作Hbase
lck_csdn的博客
05-10 533
github链接地址
Flink Table 读写Hbase
NuOne_plus的博客
10-09 1281
Flink Table 读写Hbase1、获取表环境2、创建Hbase表连接3、Hbase读取计算和写入3.1利用Flink SQL读取Hbase明细表和计算3.2写入Hbase聚合表4、pom5、demo代码 1、获取表环境 批处理为例 // 批执行环境 ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment(); // StreamExecutionEnvironment
HBase：java api连接hbase报错 ERROR AsyncProcess: Failed to get region location
小蚯蚓的博客
11-24 9651
1.问题描述 JavaAPI操作HBase数据库报错如下，经检查，HBase本身没有问题，可以创建以及添加数据。但是javaapi就是连接不上去，坑了两天没有思路。该式的方法都试了，centos和windows的hosts都配置了对应的域名，但是就是连接不上去。 18/11/23 07:31:53 INFO ZooKeeper: Client environment:java.io.tmpd...
flink 自定义hbasesink 批量写入数据到hbase
05-24
如果你想使用 Flink 批量将数据写入 HBase，可以自定义一个 HBaseSinkFunction。下面是一个简单的示例： ```java public class HBaseBatchSinkFunction extends RichSinkFunction<List<Tuple2<String, String>>> { private transient Connection connection; private transient BufferedMutator bufferedMutator; @Override public void open(Configuration parameters) throws Exception { Configuration config = HBaseConfiguration.create(); config.set("hbase.zookeeper.quorum", "localhost"); config.set("hbase.zookeeper.property.clientPort", "2181"); config.set("zookeeper.znode.parent", "/hbase"); config.set("hbase.client.write.buffer", "10000000"); config.set("hbase.client.retries.number", "3"); connection = ConnectionFactory.createConnection(config); TableName tableName = TableName.valueOf("my_table"); BufferedMutatorParams params = new BufferedMutatorParams(tableName); params.writeBufferSize(1024 * 1024); bufferedMutator = connection.getBufferedMutator(params); } @Override public void invoke(List<Tuple2<String, String>> values, Context context) throws Exception { List<Put> puts = new ArrayList<>(); for (Tuple2<String, String> value : values) { Put put = new Put(Bytes.toBytes(value.f0)); put.addColumn(Bytes.toBytes("my_cf"), Bytes.toBytes("my_col"), Bytes.toBytes(value.f1)); puts.add(put); } bufferedMutator.mutate(puts); } @Override public void close() throws Exception { if (bufferedMutator != null) { bufferedMutator.flush(); bufferedMutator.close(); } if (connection != null) { connection.close(); } } } ``` 在这个自定义的 HBaseSinkFunction 中，我们使用 BufferedMutator 批量写入数据。在 open() 方法中，我们获取 HBase 连接和缓冲器。在 invoke() 方法中，我们将数据转换为 Put 对象，并添加到缓冲器中。最后，在 close() 方法中，我们刷新缓冲器并关闭连接。 在你的 Flink 程序中，你可以使用这个自定义的 HBaseSinkFunction，例如： ```java DataStream<Tuple2<String, String>> dataStream = ...; dataStream.addSink(new HBaseBatchSinkFunction()); ``` 这样，你就可以批量将数据写入 HBase 了。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值