flink 1.12如何操作clickhouse,kafka sink到clickhouse

最新推荐文章于 2024-05-14 00:41:31 发布
最新推荐文章于 2024-05-14 00:41:31 发布
阅读量433 收藏
点赞数 1
分类专栏： 大数据 大数据BI组件 文章标签： flink jar 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lg4546/article/details/121123108
版权
大数据 同时被 2 个专栏收录
44 篇文章 183 订阅 ¥9.90 ¥99.00
订阅专栏
大数据BI组件
27 篇文章 0 订阅
订阅专栏
本文详细记录了在 Flink 1.12 版本中，由于官方不支持 JDBC 连接 ClickHouse，作者通过修改源码实现连接的完整过程。涉及内容包括 Flink 源码下载与编译，解决 ClickHouse 远程连接问题，以及处理编译时的 jar 包依赖。文章还指出，除上传自编译的 jar 包外，还需要额外添加 httpclient、httpcore 和 commons-logging 等依赖，并确保 ClickHouse 开启了远程访问。
摘要由CSDN通过智能技术生成

flink 1.12是不支持jdbc连接clickhouse的,需要修改flink的源码,我把我2天的研究跑通记录下来供大家参考.

查遍了网上所有资料,没有一次能成功的,网上的资料千篇一律.我总结一下

踩的坑有这么几点:

flink 源码下载 ,源码编译 

clickhouse 不支持远程连接,需要修改配置文件

flink缺失jar包,需要依赖好多包

成功图:

可以直接展示查询结果:

 

 操作步骤:

1 flink 源码编译

源码下载地址:https://archive.apache.org/dist/flink/flink-1.12.1/flink-1.12.1-src.tgz

下载之后解压,导入Intellij IDEA中.

导入FLINK

  1. 启动 IntelliJ IDEA 并选择 New → Project from Existing Sources。
  2. 选择已克隆的 Flink 存储库的根文件夹。(D:\workspace\flink-1.1
了解本专栏 订阅专栏 解锁全文
lg4546
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
订阅专栏
flink1.12 自定义sql sink写入 clickhouse0.3
fjl121029xx的博客
05-07 1280
写入clickhouse额外需要的依赖（还需要一些flink本身的依赖包） <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>2.7.7</version> </dependency> <dependency> <group
flink写clickhouse
zhdan~的专栏
12-13 3354
flink写clickhouse
风控系统，Flink+Clickhouse实现！
石杉的架构笔记
07-20 2824
599元特惠价原价1899元的《互联网大厂的企业级风控系统项目实战》=== 课程介绍===| SparkStreaming企业级项目实战-金融风控风控的的风控等级，在实际项目中分为警告和风险两个等级。当达到风险等级时，会触发发短信给用户进行提醒的机制。基于用户登录和操作的规则业务讲解业务流程开发SparkStreaming 整合 0.8 kafka 如何在生产环...
2024年大数据最新使用flink的standalone模式同步Kafka的数据到clickhouse(1)，2024年最新华为大神花费5个月打造的这份714页学习笔记系列
最新发布
2401_84591685的博客
05-14 676
网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！ ./bin/standalone-job.sh stop ./bin/taskmanager.sh stop./bin/jobmanager.sh stop ./b
大数据技术之ClickHouse
用生命研发技术
09-06 930
wget https://repo.clickhouse.tech/tgz/stable/clickhouse-common-static-21.8.3.44.tgz wget https://repo.clickhouse.tech/tgz/stable/clickhouse-common-static-dbg-21.8.3.44.tgz wget https://repo.clickhouse.tech/tgz/stable/clickhouse-server-21.8.3.44.tgz wge
flink jdbc connector支持clickhouse
u012573226的专栏
12-09 4111
flink jdbc connector支持实时数据写入clickhouse
Flink1.11.3 读kafka多流写clickhouse
m0_59811476的博客
02-09 327
Flink1.11.3 读kafka多流写clickhouse综述快速开始flink开发项目前置条件maven构建pom依赖说明创建java Bean (POJO类/case class都行)kafka模拟生成器插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 综述 快速开始flink开发项
clickhouse系列二 - flink推送数据到clickhouse
woxingwosu0100的博客
11-02 1837
插件地址https://github.com/ivi-ru/flink-clickhouse-sink 下载好插件后需要写一个测试驱动主程序模块 一、DataStream Connectors连接方式 不下载源码的话需要添加maven依赖 <dependency> <groupId>ru.ivi.opensource</groupId> <artifactId>flink-clickhouse-sin
flink-clickhouse-sink:Flink水槽的Clickhouse
05-17
Flink-ClickHouse-Sink 描述 用于数据库的器。 由。 用于将数据加载到ClickHouse的...flink-clickhouse-sink使用配置属性的两个部分：common和操作员链中的每个接收器。 共同的部分（像全局一样使用）： clickhouse
flinksql 操作clickhouse需要的jar
08-28
实现flinksql 操作clickhouse基本的增删改查。 jar包含： 1、clickhouse-jdbc-0.3.1.jar 2、flink-connector-clickhouse-1.16.0-SNAPSHOT.jar 3、flink-table-common-1.16.0.jar 4、guava-31.0.1-jre.jar flink ...
flink13.2 操作clickhouse 所需要的jar 包
08-27
flink13.2 操作clickhouse 所需要的jar 包 以及自定义flink 连接clickhouse 的驱动包 主要是 flink-connector-clickhouse-22.07.11.jar
flink-connector-clickhouse-1.12.0.jar
02-15
flink 以connector形式连接clickhouse，资源稀缺，阿里云已经找不到了 id Int, age Int, sex Int, create_date Date ) WITH ( 'connector' = 'clickhouse', 'url' = 'jdbc:clickhouse://10.1.3.176:8123/test', 'table-name' = 'tb_user', 'username' = '', 'password' = '', 'format' = 'json' )
flink13 操作clickhouse 的代码实现 包括source sink
08-28
flink13 操作clickhouse 的代码实现 包括source sink 的代码实现直接mavne clean install 放入到 flink lib 目录下 然后直接运行就可以 用flink sql 往clickhouse 中 的 clickhouse inck source 和 sink sql 直接...
flink13.1 操作clickhouse 的代码实现 包括自定义 source 自定义 sink
08-28
flink13 操作clickhouse 的代码实现 包括source sink 的代码实现直接mavne clean install 放入到 flink lib 目录下 然后直接运行就可以 用flink sql 往clickhouse 中 的 clickhouse inck source 和 sink sql 直接...
flinkcdc同步mongo数据到clickhouse
catcher92的博客
09-04 2349
通过flink-mongo-cdc同步数据到clickhouse
Flink的Sink支持mysql和Clickhouse
tao724624173的博客
09-08 278
一开始确实引入了很多 开源的flink-sink-Clickhouse的包但是还是不理想高并发的情况下偶尔会丢数据或者job直接卡死的情况，所以最后使用官方的jdbc来连接找了一波在站内看到大佬的帖子。里面提到的开源项目都做过尝试，最后在博客园翻到一个博主提供了jdbc的示例，于是在他的基础上改了一波。其他的基本操作都是一样的，都是通过PreparedStatement来指定构造sql的参数，一开始找到的是直接封装bean对象，但是实际场景下map的操作有点多比较方便所以添加了一个map的构造参数方法。
java clickhouse_clickhouse 安装和java通过jdbc链接
weixin_36410316的博客
03-01 1209
apt-get installdirmngrsudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv E0C56BD4echo "deb http://repo.yandex.ru/clickhouse/deb/stable/ main/" | sudo tee /etc/apt/sources.list.d/clickho...
Kafka-Connect集成clickhouse
qq_36602951的博客
11-06 1764
Kafka-Connect集成clickhouse ，从Mysql通过kafka同步数据到Clickhouse
flink-1.12.0消费kafka写入clickhouse-20.8.20.1
热门推荐
陈礼佳的博客
09-11 1万+
方案一 DataStream方式写入clickhouse 方法主入口 public class DataClean { public static void main(String[] args) throws Exception { StreamExecutionEnvironment bsEnv = StreamExecutionEnvironment.getExecutionEnvironment(); Properties properties = new P
flink 1.12 的elasticsearch sink 如何设置用户名密码
06-11
在 Flink 1.12 的 Elasticsearch sink 中，可以通过配置 Elasticsearch 的用户名和密码来连接 Elasticsearch 集群。具体的配置方式如下： 1. 在 Flink 程序中引入 Elasticsearch 依赖，例如： ``` <groupId>org....
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

lg4546

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值