【clickhouse】flink clickhouse sink Class.forName 卡死

已于 2022-06-29 23:04:40 修改
阅读量600 收藏
点赞数
分类专栏： 大数据-flink 文章标签： flink cickhouse 卡死 Class.forName
于 2021-03-07 14:06:58 首次发布
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/114435428
版权
大数据-flink 专栏收录该内容
837 篇文章 834 订阅 ¥99.90 ¥99.00
订阅专栏

文章目录

在这里插入图片描述

1.概述

一个flink项目要用到flink-clickhouse-sink,然后在git上找到的
git地址：https://github.com/ivi-ru/flink-clickhouse-sink.git

https://github.com/ivi-ru/flink-clickhouse-sink/blob/master/src/main/java/ru/ivi/opensource/flinkclickhousesink/ClickHouseSink.java

然后因为需要在ClickhouseWriter写入之前进行一些处理，获取表结构信息。

在这里插入图片描述
但是 Class.forName 卡死了，这个类的包设置为<scop>compile</scop></

了解本专栏 订阅专栏 解锁全文
九师兄
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
专栏目录
订阅专栏
【clickhouse】flink phoenix sink Class.forName 卡死
九师兄
02-01 465
【clickhouse】flink clickhouse sink Class.forName 卡死一个类似的问题。这个问题是phoenix卡死。代码如下//构造方法 public TableProcessFunction(OutputTag < JSONObject > objectOutputTag , MapStateDescriptor < String , TableProcess > mapStateDescriptor) {
flink-connector-clickhouse
AinUser的博客
09-26 6626
# 情景介绍 目前要对flink进行多数据源适配工作，需要支持的有pclickhouse,elasticsearch # 版本介绍 flink：1.13.1 elasticsearch:7.6.2 clickhouse:21.9.3.30 # 参考文献 # github flink全量案例demo：https://github.com/zhisheng17/flink-learning flink-connector连接器：https://github.com/DTStack/flinkx fli.
【自定义Source、Sink】Flink自定义Source、Sink对ClickHouse进行读和批量写操作_flink 读取clickhouse
最新发布
2401_84186109的博客
04-17 635
使用 Flink-jdbc-connector + 批量写入 + sql语句的预编译 写入 Clickhouse。* @param object: clickhouse表PO对象的属性字段所对应的数据类型。* 1. getDeclaredFields()：获取所有的字段，不会获取父类的字段。* 2. getFields(): 只能会public字段，获取包含父类的字段。* @param fields: clickhouse表PO对象的属性字段。* 对预编译之后的sql语句进行占位符替换。
Flink-clickhousesink
旺旺的博客
03-31 3257
1需求 需求：准备将一些明细数据存入clickhouse中，方便事件的在线检索。开发一个Flink的clickhouseSink； flink版本 1.10 ，flink版本1.12 两个版本 ClickHouse的java api也是基于jdbc的接口来做的。所以按照 JDBCSinkFunction 继承RichSinkFunction来实现。并且还需要创建一个JDBCOutputFormat来用于真正的输出数据到clickhouse 2.代码 JdbcSinkFunction 代码
flink jdbc connector支持clickhouse
u012573226的专栏
12-09 4069
flink jdbc connector支持实时数据写入clickhouse
Flink_Clickhouse_Sink
Fate is about choice
11-25 2047
Flink Sink Flink-clickhouse JDBC sink: 1.若是没有接触过clickhouse的同学可以先看下java连接clickhouse的方法。 @Test public void clickhouseTest(){ //使用clickhouse官网推荐的JDBC连接方式，使用了官网推荐的连接驱动 String url = "jdbc:clickhouse://xxxxxx:8123/secisland"; ClickHouseProperties p
flink-clickhouse-sink:Flink水槽的Clickhouse
05-17
Flink-ClickHouse-Sink 描述 用于数据库的器。 由。 用于将数据加载到ClickHouse的高性能库。 它有两个触发器来加载数据：超时和缓冲区大小。 版本图 闪烁 flink-clickhouse-sink 1.3。* 1.0.0 1.9。* 1.3.1 ...
flink-connector-clickhouse.jar
10-19
flinkSQL clickhouse连接器
flink-connector-clickhouse-1.12.0.jar
02-15
flink 以connector形式连接clickhouse，资源稀缺，阿里云已经找不到了 id Int, age Int, sex Int, create_date Date ) WITH ( 'connector' = 'clickhouse', 'url' = 'jdbc:clickhouse://10.1.3.176:8123/test'...
flink-connector-clickhouse_2.12-1.13.6
09-21
flink-connector-clickhouse_2.12-1.13.6 flink版本1.13.6 ClickHouse：20.9.2.20 scala:2.12
flink1.2-clickhouse-sql-依赖包.zip
11-03
flink clickhouse sql 依赖包,否则 flink不支持 clickhouse jdbc连接
flink实战 -- 数据写入clickhouse(ClickHouseSink)
Vision
12-29 1万+
简介 本文主要介绍如何通过Flink JDBC Connector将数据写入ClickHouse以及直接使用Flink JDBC Connector操作ClickHouse存在什么样的问题。 Flink JDBC Connector的使用 通过JDBCUpsertTableSink.Builder创建一个JDBCUpsertTableSink对象，JDBCUpsertTableSink需要的参数...
【flink番外篇】4、flink的sink（内置、mysql、kafka、redis、clickhouse、分布式缓存、广播变量）介绍及示例（2） - jdbc/mysql
热门推荐
alanchanchn的专栏
12-14 2万+
系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink 部署系列本部分介绍Flink的部署、配置相关基础内容。2、Flink基础系列本部分介绍Flink 的基础部分，比如术语、架构、编程模型、编程指南、基本的datastream api用法、四大基石等内容。3、Flik Table API和SQL基础系列本部分介绍Flink Table Api和SQL的基本用法，比如Table API和SQL创建库、表用法、查询、窗口函数、catalog等等内容。
Class.forName 造成的线程阻塞
death05的博客
12-24 1532
今天在查看服务器时，发现机器上稳定的会有 3 ~ 4 个线程处于阻塞状态，感觉应该是有问题的，仔细排查了一下，最终发现和 Class.forName 有关。现象某一天突然收到了公司的系统...
多线程导致驱动类初始化死锁
sq287197314的博客
09-29 451
做数据库监控的时候开了多个线程去监控不同的数据库，Class.forName加载数据库驱动的时候卡住不动了，查资料找到了原因，记录一下，感谢这位博主。 （转）JDK的sql设计不合理导致的驱动类初始化死锁问题...
Flink ClickHouse 代码
04-29
以下是使用Flink将数据写入ClickHouse的Java代码示例： ```java import org.apache.flink.api.common.functions.MapFunction; import org.apache.flink.api.common.serialization.SimpleStringSchema; import org.apache.flink.streaming.api.datastream.DataStream; import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment; import org.apache.flink.streaming.connectors.clickhouse.ClickHouseSink; import org.apache.flink.streaming.connectors.clickhouse.ClickHouseSinkFunction; import org.apache.flink.streaming.connectors.clickhouse.common.ClickHouseRowConverter; import org.apache.flink.streaming.connectors.clickhouse.common.container.ClickHouseClientProvider; import org.apache.flink.streaming.connectors.clickhouse.common.container.JDBCDriverContainer; import org.apache.flink.streaming.connectors.clickhouse.common.enums.InsertMode; import java.sql.PreparedStatement; import java.sql.SQLException; import java.util.Properties; public class FlinkClickHouseExample { public static void main(String[] args) throws Exception { // set up the execution environment final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); // configure the properties for the ClickHouse sink Properties properties = new Properties(); properties.setProperty(ClickHouseSinkOptions.TARGET_TABLE_NAME, "test"); properties.setProperty(ClickHouseSinkOptions.INSERT_MODE, InsertMode.REPLACE.name()); properties.setProperty(ClickHouseSinkOptions.USERNAME, "user"); properties.setProperty(ClickHouseSinkOptions.PASSWORD, "password"); properties.setProperty(ClickHouseSinkOptions.DATABASE_NAME, "test"); properties.setProperty(ClickHouseSinkOptions.TARGET_TABLE_SCHEMA, "id Int32, name String"); // create a ClickHouseSink with the properties and a row converter ClickHouseRowConverter rowConverter = new ClickHouseRowConverter.SimpleClickHouseRowConverter(); ClickHouseSinkFunction clickHouseSinkFunction = new ClickHouseSink(properties, rowConverter, new JDBCDriverContainer(), new ClickHouseClientProvider()); // create a data stream from a source, map it to a ClickHouse row, and add the ClickHouse sink DataStream<String> source = env.socketTextStream("localhost", 9000); DataStream<ClickHouseRow> clickHouseRows = source.map(new MapFunction<String, ClickHouseRow>() { @Override public ClickHouseRow map(String value) throws Exception { String[] fields = value.split(","); return new ClickHouseRow(fields[0], fields[1]); } }); clickHouseRows.addSink(clickHouseSinkFunction); // execute the Flink job env.execute("Flink ClickHouse Example"); } public static class ClickHouseRow { private int id; private String name; public ClickHouseRow(String id, String name) { this.id = Integer.parseInt(id); this.name = name; } public int getId() { return id; } public String getName() { return name; } } } ``` 在此代码中，我们首先配置了ClickHouse sink的属性，并创建了一个ClickHouseSinkFunction。接下来，我们从数据源创建了一个数据流，并将其映射为一个ClickHouse行。最后，我们将ClickHouse行添加到ClickHouse sink并执行Flink作业。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值