flinksql sink to sr often fail because of nullpoint

已于 2023-08-09 14:20:20 修改
阅读量439 收藏
点赞数
文章标签： flink starrocks flink-connector
于 2023-08-09 14:07:50 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/IT_liuzhiyuan/article/details/132186546
版权

flinksql or DS sink to starrocks often fail because of nullpoint

flink sql 和 flink ds sink starrocks 经常报NullpointException

  • 使用flink-starrocks-connector 版本: flink-connector-starrocks-1.2.6_flink-1.15.jar

在这里插入图片描述

翻阅StarRocksSink 源码 DefaultStreamLoader 类
在这里插入图片描述
解决方案： 到github 上查询目前最新的版本中对该bug 修复 下载源码查看 DefaultStreamLoader 类
在这里插入图片描述

在这里插入图片描述

重新下载源码到本地 打包后 打包后的 flink-starrocks-connector 版本: flink-connector-starrocks-1.2.7_flink-1.15.jar

重新编译代码 并上传到flink 集群 验证，有效

IT_ZhiCunGaoYuan
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【flink番外篇】4、flink的sink（内置、mysql、kafka、redis、clickhouse、分布式缓存、广播变量）介绍及示例（3） - redis
alanchanchn的专栏
12-15 3万+
flink 提供了专门操作redis 的RedisSink，使用起来更方便，而且不用我们考虑性能的问题，接下来将主要介绍RedisSink 如何使用。1.getCommandDescription() ，设置使用的redis 数据结构类型和key的名称，通过RedisCommand 设置数据结构类型2.String getKeyFromData(T data)，设置value 中的键值对key的值。
flink通过sink的方式写入dorisdb数据源
直到世界的尽头
03-09 6189
我们在之前的文章中已经 通过 mongodbsource获取了 相关数据，详情参考 flink读取mongodb数据源批处理全量获取实践 本篇文章 记录把获取到的数据 sink导入到 dorisdb。 创建erp_order_test表 在dorisdb的shell命令行中使用命令创建表格 create table erp_order_test (order_id STRING, order_time DATETIME) DISTRIBUTED by hash(order_id) BUCKETS 10 P
Flink SQL 自定义 Sink
shengjk1的博客
10-16 2807
背景 内部要做 Flink SQL 平台，本文以自定义 Redis Sink 为例来说明 Flink SQL 如何自定义 Sink 以及自定义完了之后如何使用 基于 Flink 1.11 步骤 implements DynamicTableSinkFactory implements DynamicTableSink 创建 Redis Sink 自定义 sink 代码 import com.ishansong.bigdata.common.util.redis.RedisUtil; import org
flink mongodb sink自定义开发(支持flink sql)
xiaohu21的博客
01-31 4098
flink mongodb sink自定义开发 1. 背景 目前官方关于自定义sink source资料较少，示例代码少，幸好github有一个clickhouse的自定义sink可以借鉴 https://github.com/gmmstrive/flink-connector-clickhouse 2. 步骤 1. 环境 jdk8 idea 2020 scala 2.11 2. pom 以下是自定义connector开发时可以参考的pom文件 <packaging>jar</
flink之Sink to MySQL和Redis
zly03的博客
08-20 1437
这里就展示了两种写入Sink的方式，其他方式如果需要使用我们可以去查询官方文档，文档都有会有一个demo，大家可以根据demo改成自己需要的就可以sink出去了。
flink sql 的 source / sink 原理
张不帅
11-08 2566
文章目录source source 对于flink sql 中的source 无奈就两种 .流表 比如数据源是kafka 或者mq等动态数据源 维表数据源是mysql/hbase/redis等静态数据源 datastream 定义一个source的基本内容 source , sink 的connector 连接配置信息(sql中connector) source , sink的序列化方式信息(sql 中format字段) source,sink的字段信息 (sql source ,sink field
Flink sql 实现 -connection-clickhouse的 source和 sink
wudonglianga的专栏
08-28 3182
flink13.1 操作clickhouse 所需要的jar 包 以及自定义flink 连接clickhouse 的驱动包
flink mysql sink_聊聊flink的sink
weixin_35492602的博客
02-23 1412
概述flink的sink是flink三大逻辑结构之一(source，transform，sink),功能就是负责把flink处理后的数据输出到外部系统中，flink 的sink和source的代码结构类似。在编写代码的过程中，我们可以使用flink已经提供的sink，如kafka，jdbc,es等，当然我们也可以通过自定义的方式，来实现我们自己的sink。下面说明核心类核心类SinkFunctio...
FlinkSQL sink 到 kafka 中的分区分配规则
ChengYanan的博客
08-19 3393
场景 直接用 FlinkSQL 实现消费kafka中的数据,并经过一系列转换后sink到kafka另一个topic中。 INSERT INTO kafka_sink_table SELECT xxx FROM kafka_source_table Flink SQL的kafka connector里有一个参数sink.partitioner 1，如下： 固定:每个Flink分区结束在最多一个Kafka分区。 循环:一个Flink分区被分配到Kafka分区循环。 自定义FlinkKafkaPartiti
flink-sql集成rabbitmq
06-29
标题中的“flink-sql集成rabbitmq”指的是将Apache Flink的数据流处理能力与RabbitMQ消息队列系统相结合，实现数据的实时处理和传输。Flink是一个开源的流处理框架，提供低延迟、高吞吐量的数据处理，而RabbitMQ是一...
Flink SQL大数据视频教程下载
09-15
在 Flink SQL 中，你可以定义表源、表Sink，以及对数据进行各种转换操作，例如选择、投影、分组、排序等。 二、Flink SQL 的核心概念 1. 表源（Table Source）：这是数据流入 Flink 系统的地方，可以是 Kafka、HDFS...
flink-clickhouse-sink:Flink水槽的Clickhouse
05-17
Flink-ClickHouse-Sink 描述 用于数据库的器。 由。 用于将数据加载到ClickHouse的高性能库。 它有两个触发器来加载数据：超时和缓冲区大小。 版本图 闪烁 flink-clickhouse-sink 1.3。* 1.0.0 1.9。* 1.3.1 ...
flink clickhouse sink
02-07
标题 "flink clickhouse sink" 指的是 Apache Flink 流处理框架与 ClickHouse 数据库集成的一种数据接收器，即 Flink 的 ClickHouse Sink。这个组件允许 Flink 应用程序将处理后的数据流实时写入 ClickHouse，实现...
【FlinkSql篇01】FlinkSql之入门概述1
08-04
在本文中，我们将深入探讨Apache Flink的SQL支持，即FlinkSQL的入门概述。Flink是一个批流统一的数据处理框架，它的Table API和SQL提供了一种统一的方式来处理批处理和流处理任务。Table API是Java和Scala语言内置的...
Flink之SQL client使用案例
zxcvbnm0207的博客
08-19 983
s(--slots)：每个TaskManager的slot数量，默认一个slot一个core，默认每个taskmanager的slot的个数为1，有时可以多一些taskmanager，做冗余。# 在提交n次事务后，进行binlog的落盘，0为不进行强行的刷新操作，而是由文件系统控制刷新日志文件，如果是在线交易和账有>关的数据建议设置成1，如果是其他数据可以保持为0即可。所以该错误可以忽略。Per-Job Mode：单作业模式，我们也是更多的使用这种模式，这个模式会将我们的资源更合理的规划使用。
（五）Flink Sink 数据输出
最新发布
springk的专栏
08-19 197
经过 Transformation 操作之后，最终形成用户所需要的结果数据集。通常情况下，用户希望将结果数据输出到外部存储介质或者传输到下游的消息中间件中，在 Flink 中，将 DataStream 数据输出到外部系统的过程被定义为 Sink 操作。
Flink程序部署与提交
SunnyRivers
08-16 317
我们看门见山，生产环境一般用的是在YARN上面采用应用模式进行部署flink程序。实际生产中一般需要和资源管理平台（如YARN）结合起来，选择特定的模式来分配资源、部署应用。
flink 消费 kafka subtask 分区策略
qq_18218071的博客
08-18 322
flink 与 kafka 的分区分配策略
flinksql 自定义sink
04-28
FlinkSQL 是 Flink 中提供的一种 SQL 执行方式，它可以让用户使用 SQL 语句进行流式数据处理。在 FlinkSQL 中，自定义 Sink 可以用于将处理结果输出到外部存储介质，如 MySQL、ES 等。 首先，在自定义 Sink 之前，需要先定义一个类，继承 Flink 的 RichSinkFunction 接口。该接口包含 open、invoke 和 close 三个方法，分别用于 Sink 的初始化、数据输出和资源释放。自定义 Sink 类应该重写 invoke 方法，用于输出数据。 接下来，在 FlinkSQL 中，使用 CREATE TABLE 定义表时，可以指定表的输出方式为自定义 Sink。例如，定义一个输出流，并将结果输出到 MySQL 中，可以按以下方式定义表： ``` CREATE TABLE result ( word VARCHAR, count BIGINT ) WITH ( 'connector' = 'jdbc', 'url' = 'jdbc:mysql://localhost:3306/test', 'table-name' = 'result', 'username' = 'root', 'password' = 'root', 'sink.buffer-flush.max-rows' = '500', 'sink.buffer-flush.interval' = '2s', 'sink.max-retries' = '5' ) ``` 上述代码中，定义了一个名为 result 的表，其中 word 和 count 字段分别表示统计结果中的单词和出现次数。通过 WITH 关键字，在该表中定义了一个自定义 Sink，并指定了输出的目标地址为本地的 MySQL 数据库，配置了一些参数，如输出缓存刷写的条数、刷写的时间间隔以及重试次数等。 以上是 FlinkSQL 自定义 Sink 的简单介绍，通过自定义 Sink，在 FlinkSQL 中可以很方便地将处理结果输出到外部存储介质。同时，需要根据需求对自定义 Sink 进行优化，尽可能提高数据输出的效率和稳定性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值