flink实战--数据写入clickhouse（自定义ClickHouseSink 与jdbc sink）

已于 2022-01-20 15:50:41 修改
阅读量7.9k 收藏 12
点赞数 6
分类专栏： Flink学习必读系列 clickhouse 文章标签： flink clickhorce
于 2020-06-06 18:24:56 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/aA518189/article/details/106591362
版权
本文详细介绍了Flink如何实现实时写入Clickhouse，包括自定义ClickHouseSink的两种实现方式（标准形式和高可用模式），Flink写入Clickhouse的性能注意事项，以及遇到的常见错误代码及其解决方案。通过案例代码展示了Flink使用原生jdbc Sink写入Clickhouse的方法，并提供了相关问题汇总。
摘要由CSDN通过智能技术生成

扫一扫加入大数据公众号和技术交流群，了解更多大数据技术，还有免费资料等你哦

简介

            Clickhouse 支持http协议的web方式进行访问，也支持JDBC或者ODBC的驱动程序的客户端进行访问，我们使用Flink操作Clickhouse,可以按照操作mysql一样的方式通过JDBC进行访问,本文将具体介绍flink实时写入Clickhouse的自定义sink实现方式和原生的jdbc sink，对于Flink自定义sink，参考上篇博客：flink实战--读写Hbase_阿华田的博客-CSDN博客_flink写数据到hbase。

自定义ClickhouseSink实现的两种方式

第一种：标准形式
            标准形式是我们常用的jdbc方式，通过JDK原生接口获取

了解本专栏 订阅专栏 解锁全文 超级会员免费看
阿华田512
关注
专栏目录
订阅专栏
【Flink】flink ClickHouseSink--数据写入ClickHouse
九师兄
02-21 4198
1.概述 转载：Flink自定义ClickHouseSink–数据写入ClickHouse 这个版本是flink1.11版本才有的相关功能。 遇到需要将Kafka数据写入ClickHouse的场景，本文将介绍如何使用Flink JDBC Connector将数据写入ClickHouse Flink JDBC Connector Flink JDBC源码： /** * Default JDBC dialects. */ public final class JdbcDialects { private
flink实战 -- 数据写入clickhouse(ClickHouseSink)
热门推荐
Vision
12-29 1万+
简介 本文主要介绍如何通过Flink JDBC Connector将数据写入ClickHouse以及直接使用Flink JDBC Connector操作ClickHouse存在什么样的问题。 Flink JDBC Connector的使用 通过JDBCUpsertTableSink.Builder创建一个JDBCUpsertTableSink对象，JDBCUpsertTableSink需要的参数...
flink-clickhouse-sink:Flink水槽的Clickhouse
05-17
Flink-ClickHouse-Sink 描述 用于数据库的器。 由。 用于将数据加载到ClickHouse的高性能库。 它有两个触发器来加载数据：超时和缓冲区大小。 版本图 闪烁 flink-clickhouse-sink 1.3。* 1.0.0 1.9。* 1.3.1 安装 Maven中央 < dependency> < groupId>ru.ivi.opensource</ groupId> < artifactId>flink-clickhouse-sink</ artifactId> < version>1.3.1</ version> </ dependency> 用法 特性 flink-clickhouse-sink使用配置属性的两个部分：common和操作员链中的每个接收器。 共同的部分（像全局一样使用）： clickhouse
Flink 连接器 ClickHouse 教程
最新发布
gitblog_00276的博客
08-24 1134
Flink 连接器 ClickHouse 教程 flink-connector-clickhouseFlink SQL connector for ClickHouse. Support ClickHouseCatalog and read/write primary data, maps, arrays to clickhouse.项目地址:https://gitcode.com/gh_mir...
Flink_Clickhouse_Sink
Fate is about choice
11-25 2086
Flink Sink Flink-clickhouse JDBC sink: 1.若是没有接触过clickhouse的同学可以先看下java连接clickhouse的方法。 @Test public void clickhouseTest(){ //使用clickhouse官网推荐的JDBC连接方式，使用了官网推荐的连接驱动 String url = "jdbc:clickhouse://xxxxxx:8123/secisland"; ClickHouseProperties p
Flink-clickhousesink
旺旺的博客
03-31 3527
1需求 需求：准备将一些明细数据存入clickhouse中，方便事件的在线检索。开发一个Flink的clickhouseSink； flink版本 1.10 ，flink版本1.12 两个版本 ClickHouse的java api也是基于jdbc的接口来做的。所以按照 JDBCSinkFunction 继承RichSinkFunction来实现。并且还需要创建一个JDBCOutputFormat来用于真正的输出数据到clickhouse 2.代码 JdbcSinkFunction 代码
Flink自定义ClickHouseSink--数据写入ClickHouse
weixin_42868529的博客
08-13 1万+
简介 遇到需要将Kafka数据写入ClickHouse的场景，本文将介绍如何使用Flink JDBC Connector将数据写入ClickHouse Flink JDBC Connector Flink JDBC源码： /** * Default JDBC dialects. */ public final class JdbcDialects { private static final List<JdbcDialect> DIALECTS = Arrays.asList( ne
【Flink-Sql-Kafka-To-ClickHouse】使用 FlinkSql 将 Kafka 数据写入 ClickHouse
weixin_53543905的博客
12-16 1364
在 Kafka 中写入对应 ClickHouse 格式的 Json 测试数据，观察 ClickHouse 中是否有数据写入。集群模式要创建两次表，一次为 local 本地表，一次为 cluster 集群表。1、创建表（此处我们使用生产环境中较为常用的 cluster 集群模式建表）1、数据源为 Kafka，定义 Kafka-Topic 为动态临时视图表。如果在服务器上执行，需要将 jar 放到 Flink 的 lib 目录下。2、写入到 ClickHouse，自定义 Sink 表。1、创建好Topic。
【Flink】使用JDBC connector写入ClickHouse
九师兄
01-29 1820
1.概述 转载并且添加 使用JDBC connector写入ClickHouse 2.背景信息 Flink 1.10.1 + flink-jdbc Flink 1.11.0 + flink-connector-jdbc 本节主要介绍如何利用 ClickHouse JDBC connector，使用不同版本的 Flink 写入数据到 ClickHouse 中。 2.1 背景信息 Flink 在 1.11.0 版本对其 JDBC connector 进行了一次较大的重构： 重构之前（1.10.1 及之前版本.
jquery导入数据_亿级电商实时数据分析平台构建实战
weixin_39763953的博客
11-21 185
基于Flink+ClickHouse构建亿级电商实时数据分析平台(PC、移动、小程序)引用网络文章开启本课程的开篇：在大数据分析领域中，传统的大数据分析需要不同框架和技术组合才能达到最终的效果，在人力成本，技术能力和硬件成本上以及维护成本让大数据分析变得成为昂贵的事情。让很多中小型企业非常苦恼，不得不被迫租赁第三方大型公司的数据分析服务。ClickHouse开源的出现让许多想做大数据...
flink clickhouse sink
02-07
flink clickhouse sink
flink读clickhouse，自定义sink和source
jianm_liu的博客
01-15 1035
flink分批读clickhouse数据，处理后再存clickhouse。存量数据：按天分批取数据处理；增量数据：每隔一段时间拉取一次数据。
Flink写入 Clickhouse
jzy1210的专栏
08-14 2607
一、背景 每天上百亿的日志数据实时查询是个挑战，在架构设计上采用了Kafka + Flink + Clickhouse+Redash，实现海量数据的实时分析。计算层，我们开发了基于Flink计算引擎的实时数据平台，简化开发流程，数据通过配置化实现动态Schema生成，底层数据解析统一，无需重复造轮子，整个数据链路，从数据的采集，转换，存储，可视化，无需写一行代码，配置化完成。本文主要介绍实时日志数据写入Clickhouse的实践。 Flink Clickhouse Sink 1 2
flink 1.9 sink clickhouse
qq_38363255的博客
06-23 697
由于flink 1.9 版本的jdbc 有不少ck 类型并不支持，例如Map 类型。故重写了一个clickhouse sink。 基本依赖： <!-- https://mvnrepository.com/artifact/ru.yandex.clickhouse/clickhouse-jdbc --> <dependency> <groupId>ru.yandex.clickhouse</groupId>
FlinkClickHouseSink范例
GavinKai
08-30 352
package com.xxx.job; import com.alibaba.fastjson.JSONObject; import com.xxx.pojor.VisitorStats; import com.xxx.sink.ReportClickHouseSink; import org.apache.flink.api.common.functions.MapFunction; import org.apache.flink.kafka.shaded.org.apache.kafka.c...
Flink入门实战之Sink clickhouse
xiaoc100200的博客
01-04 2506
clickhouse 建表语句 // 建数据库 CREATE database test_db; // 建MergeTree表 CREATE table test_db.test( id Int32, date Date, age Int8 ) engine=MergeTree() order by id ; // 测试插入 INSERT into test_db.test values (4, '2020-01-12', 19), (5, '2020-02-13', 3); // 查看 SELEC.
阿里SLS -＞ Flink -＞ ClickHouseSink 写入动态列
chocolate4的博客
10-18 1454
1.ClickHouseUtil 1.需求 需求：通过flink解析SLS中的JSON数据并以动态列的形式存入clickhouse中，方便事件的在线检索，开发一个Flink的clickhouseSink。其中实现动态列最关键的就是根据解析出来的字段完成对sql的拼接。 2.代码 1.ClickHouseUtil import java.sql.Connection; import java.sql.DriverManager; import java.sql.SQLException; pub
Flink写入数据到ClickHouse
a805814077的博客
07-04 2135
使用Flink将流式数据写入到ClickHouse
flink 写入clickhouse
04-27
可以使用 Flink 的 JDBC Sink 将数据写入 ClickHouse 数据库。具体步骤如下： 1. 在 pom.xml 中添加 ClickHouse JDBC 驱动的依赖： ```xml <groupId>ru.yandex.clickhouse <artifactId>clickhouse-jdbc ...
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

阿华田512

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值