Flink自定义source读取clickhouse

最新推荐文章于 2024-12-11 16:04:16 发布

Drgom

最新推荐文章于 2024-12-11 16:04:16 发布

阅读量3.3k

点赞数 3

分类专栏： Flink CickHouse 文章标签： flink scala

本文链接：https://blog.csdn.net/qq_43662627/article/details/120346099

版权

本文介绍如何在Flink中通过自定义source组件，利用Clickhouse官方的JDBC方式来读取数据。虽然缺乏直接的Flink connector，但可以借助Java API实现数据的读取。

摘要由CSDN通过智能技术生成

昨晚想从clickhouse读取数据，愣是没找到clickhouse的flink的读取方法，一百度都是slink的，最后是找到一个clickhouse官方提供的jdbc方法，但还是用游标，好吧凑合着用
官方链接

package redo.source



import org.apache.flink.streaming.api.scala.StreamExecutionEnvironment
import org.apache.flink.api.scala._
import org.apache.flink.streaming.api.functions.source.SourceFunction

import java.sql.{
   Connection, DriverManager, Statement}
import java.util.{
   Date, Properties}
import scala.util.Random


case class User(user_id:Long,item_id:Long,cate_id:Long,pv:Int,fav:Int,cart:Int,buy:Int,times:Date)

object ClickHouseSources {
   
  def main(args: Array[String]): Unit = {
   
    val env =StreamExecutionEnvironment