Flink消费kafka入Hbase(Hbase周期性挂掉)

已于 2023-02-20 17:03:24 修改
阅读量977 收藏
点赞数 1
分类专栏： hbase 文章标签： hbase flink 大数据 kafka
于 2022-11-23 09:11:52 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42247202/article/details/127993435
版权

异常信息

warn NettyRpcServer RPC data length of 842346544 received from IP is greater than max allowed 268435456,set "hbase.ipc.max.request.size" on server to override this limit(not recommended)

集群资源

        redis集群 8台 最大连接数1万

        CDH管理的主机100台左右

 数据规模

        5分钟的数据量在1亿左右,  一条数据大概300字节左右

需求逻辑

        消费kafka数据管理redis,redis数据也是实时更新的,入Hbase

        采取Flink异步IO的方式做处理,消费速度还可以

刚开始出现的问题:

        运行10天左右会出现一次hbase挂掉的,查日志没发现有用的信息,无意间看到WARN日志级别里有一条信息(如下),翻译过来说是hbase单表入库一次不能超过256MB,因为我程序sink端是78并行度,每个并行设置的是满10MB写入HBase一次,因此导致的这个问题,把并行度调小为39,满1MB写入,问题解决,没发生HBase挂掉的现象

远方xyd
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
【Flink】Flink Kafka 消费卡死 消费组卡死 topic无写入 实际有数据 topic正常
九师兄
06-11 2052
1.概述 今天遇到一个问题，非常的奇怪。 我一个FLink程序突然不消费数据了。确认有数据正在往kakfka中写入数据，在broker监控中，可以看到确实在写入。 然后在topic看，发现数据没有写入 flink 读取不到数据，flink流任务 没有报错，这个 然后查看消费组卡死 查看topic详情是正常的 模拟对这个topic写入和发送数据是正常的 kafka日志一堆 Rolled new log segment for 消费数据的时候有消息比较大 服务端设置的max.message.si.
Flink学习笔记（五）：与kafka、HBase整合案例
gentlewei的博客
02-09 1617
文章目录案例1.从kafka读取数据再写入kafka案例2.从kafka读取数据写入hbase案例3.从kafka读取数据写入Mysql 案例1.从kafka读取数据再写入kafka 环境： flink版本：1.7.2 kafka版本：2.1.1 flink与kafka交互有多种方式，本案例通过dataStream的addSource和addSink的方式与kafka交互。flink默认支持k...
kafka数据消费至hbase
jmz98的博客
10-23 138
将kafka数据消费至hbase
hbase启动异常解决方法
five小点心的博客
05-15 501
重启hbase之后，仍然出现上述异常。推测可能是HDFS中和zk中的hbase没有删除导致。下面重启hbase、zookeeper、hadoop就可以了。
flink 对接kafka写进hbase里（代码和pom）
山海
08-23 1033
hbase 里必须有表，不会自己创建 import java.util.Properties import org.apache.flink.api.common.serialization.SimpleStringSchema import org.apache.flink.streaming.api.scala.{DataStream, StreamExecutionEnvironment}...
flink-kafka-hbase:功能：实现kafka消息实时落地hbase，支持csvjson字符串两种格式的消息，支持自定义组合rowkey,列簇和列名，支持按照kafka消息流中不同字段join不同的hbase表，并自定义写入列簇和列(join时需评估一下性能)， 支持at least once语义 外部依赖：apollo配置中心，本项目依靠配置驱动，配置存储在apollo配置中心
05-26
flink-kafka-hbase功能：实现kafka消息实时落地hbase，支持csv/json字符串两种格式的消息，支持自定义组合rowkey,列簇和列名，支持按照kafka消息流中不同字段join不同的hbase表，并自定义写入列簇和列(join时需评估...
基于Flume+Kafka+Hbase+Flink+FineBI的实时综合案例.txt
10-13
基于Flume+Kafka+Hbase+Flink+FineBI的实时综合案例.txt基于Flume+Kafka+Hbase+Flink+FineBI的实时综合案例.txt基于Flume+Kafka+Hbase+Flink+FineBI的实时综合案例.txt基于Flume+Kafka+Hbase+Flink+FineBI的实时综合...
功能：实现kafka消息实时落地hbase，支持csv-json字符串两种格-flink-kafka-hbase.zip
最新发布
01-29
功能：实现kafka消息实时落地hbase，支持csv-json字符串两种格-flink-kafka-hbase
flink连接kafka
01-20
1.启动zookeeper 在cmd中输入zkserver，成功启动页面 如下： org.apache.maven.plugins maven-compiler-... org.apache.flink flink-java ${flink.version} compile o
基于flink+hbase+kafka+mysql+redis的电商实时推荐系统项目源码+数据集.rar
10-20
实时推荐： - 从 redis 中查询用户最近评分商品列表 ， redis key 为 `“ONLINE_PREFIX_” + userId` ...- flink 将 hbase `rating` 表加载到内存中，根据 productId group，并且统计出现次数 - 根据出现次数逆序排序。
flink-sql 1.10 kafka 实时采集kafka中的数据写入到hbase
旺旺的博客
05-16 1593
flink-sql从kafka读取数据写入mysql 1.导入依赖 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/
flink sql在实时数仓中，关联hbase维表频繁变化的问题
雾岛与鲸的博客
12-18 1700
在用flink sql在做实时数仓，架构大概是kafka关联hbase维表，然后写入clickhouse。hbase维表是频繁变化的 现在遇到的几个比较棘手的问题： 1、自己在实现AsyncTableFunction做异步io的时候，发现性能还是不够。后来就加入本地缓存，但是缓存一致性出现问题，不知道该如何解决 2、写入hbase的时候，是批量写的，无法保证有序，维表频繁变化的话，顺序不对，会造成结果有问题 3、hbase维表，可能5s后才会更新，但是此时kafka数据流已经过去了，关联的数据都是空 不
hbase支持的动态配置项
巨魔战将
11-13 1206
hbase 3.x支持的动态配置项 hbase中不重启服务能动态更新的配置项有： hbase.ipc.server.fallback-to-simple-auth-allowed hbase.cleaner.scan.dir.concurrent.size hbase.regionserver.thread.compaction.large hbase.regionserver.thread.co...
Flink读写系列之-读Kafka并写入Kafka
A coder of life
10-22 7879
读写Kafka比较简单，官方提供了connector，也提供了例子可以参看，官网例子的GitHub地址： https://github.com/apache/flink/tree/master/flink-examples/flink-examples-streaming/src/main/java/org/apache/flink/streaming/examples/kafka 下面只做简...
Mysql的事务与锁之间的关系
weixin_43823756的博客
11-21 1067
一.事务：ACID 如转账业务： A – B 1000 A -1000 B +1000 二.事务并发引起的问题 ·脏读 不可重复读 幻读 隔离级别： 读未提交 （脏读，不可重复读，幻读）这个级别对数据是没有加锁的，就是最低的级别的 读已提交 就是事务A只能读取到事务B提交后的数据，如果B没提交，A读取到的是之前的数据，而不是B修改后的数据。 可以去除脏读（没提交的数据是读不到的）了 （不可重复读，幻读） 不可重复读： 如A读到数据 a=100，此时B修改a=120提交了（未提交A读到的还是a=1
Flink读取kafka scala 和 java的小坑
qq_31866793的博客
08-13 3107
报错就是找不到kafka的类 Caused by: java.lang.ClassNotFoundException: org.apache.kafka.clients.consumer.ConsumerRecord Caused by: java.lang.ClassNotFoundException: org.apache.kafka.common.serialization.ByteArrayDeserializer 先贴代码： 在读取kafka多个topic的时候自定义输出类：...
kafka实现读文件到hbase 并且实现hbase到hive上的映射
欢迎大神交流讨论
11-12 2316
首先还是构建一个父类特质方法 package kafkatohbase import org.apache.hadoop.hbase.client.Put import org.apache.kafka.clients.consumer.{ConsumerRecord, ConsumerRecords} trait DataHandler { def transform(topic:String,records:ConsumerRecords[String,String]):Array[Put]
Flink从Kafka读取数据
popping_w的博客
08-22 5479
Flink从Kafka读取数据 1、环境搭建，hadoop集群、zookeeper、kafka 2、IDEA程序编写+配置依赖 在IDEA中添加kafka配置依赖： Apache Flink 附带了一个通用的 Kafka 连接器，它试图跟踪最新版本的 Kafka 客户端。它使用的客户端版本可能会在 Flink 版本之间发生变化。现代 Kafka 客户端向后兼容代理版本 0.10.0 或更高版本。关于Kafka兼容性的详细信息，请参考Kafka官方文档。 <dependency> <gro
flink学习笔记-flink实时数仓-实时同步msql数据到hbase（mysql->max-well->kafka->flink->hbase）
陈同学
03-30 4113
为了解决公司数据统计，数据分析等各种问题，我们可以有很多手段，最常用的手段就是通过构建数据仓库的手段来实现我们的数据分析，数据挖掘等，其中，数据仓库基本上都是统计前一天的数据，或者最近一段时间的数据，这就决定了数据仓库一般都是使用离线的技术来实现，通过离线的技术手段，来实现前一天或者近一段时间的数据统计功能，为了解决数据统计的时效性问题，我们也可以通过实时的手段来构建数据仓库，通过流式API，结合...
flink消费kafka写入hbase
06-06
flink可以通过Kafka Consumer API来消费Kafka中的数据，然后使用HBase API将数据写入HBase中。具体的实现步骤如下： 1. 创建一个Kafka Consumer，通过指定Kafka的topic和相关的配置参数来消费Kafka中的数据。 2. ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

远方xyd

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值