Flink处理kafka数据再写入到ClickHouse

已于 2024-03-20 20:34:08 修改
阅读量1k 收藏 4
点赞数 8
文章标签： flink kafka clickhouse
于 2024-03-20 20:15:57 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Oz_Mood/article/details/136887477
版权
本文介绍了如何在Scala中使用ApacheFlink处理Kafka的DWD层数据，筛选出订单状态为已退款的数据，并将结果持久化到ClickHouse数据库的order_master表中，涉及到了配置、连接、数据转换和写入操作。
摘要由CSDN通过智能技术生成

步骤 1: 环境准备

  • 安装并配置Kafka: 确保Kafka集群已经搭建并运行正常。
  • 安装并配置ClickHouse: 确保ClickHouse服务器已经安装并配置好，可以接受数据写入。
  • 安装Flink: 根据需要选择本地或集群模式，安装并配置Flink。

步骤 2: 创建Flink项目

  • 创建新的Flink项目: 使用IDE（如IntelliJ IDEA）或命令行创建一个新的Flink项目。
  • 添加依赖: 在项目的pom.xml或build.sbt文件中添加Flink、Kafka和ClickHouse的依赖。

步骤 3: 编写Flink作业

  • 配置连接: 在Flink作业中配置Kafka和ClickHouse的连接信息，包括Kafka的broker地址、topic、ClickHouse的host、port等。
  • 读取Kafka数据: 使用Flink的Kafka Connector读取Kafka中的数据流。可以选择使用DataStream API或Table API。
  • 数据处理: 对读取的数据进行所需的处理，如过滤、转换、聚合等。
  • 写入ClickHouse: 使用Flink的JDBC Connector或其他适配器将处理后的数据写入ClickHouse。可以选择使用Batch写入或Stream写入，根据数据特性和业务需求调整写入策略。

题目需求：

使用Flink消费Kafka的dwd层数据，监控order_status字段为已退款的数据,将数据存入ClickHouse数据库shtd_result的order_master表中，然后在Linux的ClickHouse命令行中根查询出前5条。

Pom.xml文件

<dependencies>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-scala_${scala.binary.version}</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-streaming-scala_${scala.binary.version}</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.kafka</groupId>
            <artifactId>kafka_${scala.binary.version}</artifactId>
            <version>${kafka.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-kafka_${scala.binary.version}</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.bahir</groupId>
            <artifactId>flink-connector-redis_2.11</artifactId>
            <version>1.0</version>
            <exclusions>
                <exclusion>
                    <groupId>org.apache.flink</groupId>
                    <artifactId>flink-streaming-java_2.11</artifactId>
                </exclusion>
            </exclusions>
        </dependency>
        <!-- 指定mysql-connector的依赖 -->
        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <version>5.1.38</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-clients_${scala.binary.version}</artifactId>
            <version>${flink.version}</version>
            <!--<scope>provided</scope>-->
            <exclusions>
                <exclusion>
                    <artifactId>slf4j-api</artifactId>
                    <groupId>org.slf4j</groupId>
                </exclusion>
            </exclusions>
        </dependency>
        <dependency>
            <groupId>com.google.code.gson</groupId>
            <artifactId>gson</artifactId>
            <version>2.8.6</version>
        </dependency>
        <!--HBase -->
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-hbase-base_2.12</artifactId>
            <version>1.14.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-hbase-2.2_2.12</artifactId>
            <version>1.14.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hbase</groupId>
            <artifactId>hbase-client</artifactId>
            <version>2.2.3</version>
        </dependency>
        <dependency>
            <groupId>org.scala-lang</groupId>
            <artifactId>scala-reflect</artifactId>
            <version>2.12.11</version>
        </dependency>
        <dependency>
            <groupId>org.scala-lang</groupId>
            <artifactId>scala-compiler</artifactId>
            <version>2.12.11</version>
        </dependency>
        <dependency>
            <groupId>org.scala-lang</groupId>
            <artifactId>scala-library</artifactId>
            <version>2.12.11</version>
        </dependency>


        <!--flink-connector-jdbc flink版本需在1.11.0之后-->
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-jdbc_${scala.binary.version}</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <!--clickhouse jdbc连接-->
        <dependency>
            <groupId>com.clickhouse</groupId>
            <artifactId>clickhouse-jdbc</artifactId>
            <version>0.3.2-patch11</version>
        </dependency>

            <dependency>
                <groupId>ru.yandex.clickhouse</groupId>
                <artifactId>clickhouse-jdbc</artifactId>
                <version>0.3.1</version>
            </dependency>

    </dependencies>

1.配置ClickHouse JDBC配置

    // ClickHouse JDBC 配置
    val jdbcBuild = new JdbcConnectionOptions.JdbcConnectionOptionsBuilder()
      .withUrl("jdbc:clickhouse://192.168.45.13/shtd_result")
      .withPassword("123456")
      .withDriverName("ru.yandex.clickhouse.ClickHouseDriver")
      .withUsername("default")
      .build()

2.对ClickHouse执行的SQL语句

    val sqlStr = "INSERT INTO order_master (" +
      " order_id," +
      " order_sn," +
      " customer_id," +
      " shipping_user," +
      " province," +
      " city," +
      " address," +
      " order_source," +
      " payment_method," +
      " order_money," +
      " district_money," +
      " shipping_money," +
      " payment_money," +
      " shipping_comp_name," +
      " shipping_sn," +
      " create_time," +
      " shipping_time," +
      " pay_time," +
      " receive_time," +
      " order_status," +
      " order_point," +
      " invoice_title," +
      " modified_time" +
      ") values (?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?)"

3.将数据addSink到ClickHouse中

order_Stream.addSink(
      JdbcSink.sink(
        sqlStr,
        // 预编译语句
        new JdbcStatementBuilder[Data] {
          override def accept(t: PreparedStatement, u: Data): Unit = {
            t.setString(1, u.order_id)
            t.setString(2, u.order_sn.toString)
            t.setLong(3, u.customer_id)
            t.setString(4, u.shipping_user)
            t.setString(5, u.province)
            t.setString(6, u.city)
            t.setString(7, u.address)
            t.setInt(8, u.order_source)
            t.setInt(9, u.payment_method)
            t.setDouble(10, u.order_money)
            t.setDouble(11, u.district_money)
            t.setDouble(12, u.shipping_money)
            t.setDouble(13, u.payment_money)
            t.setString(14, u.shipping_comp_name)
            t.setString(15, u.shipping_sn)
            t.setString(16, u.create_time.toString)
            t.setString(17, u.shipping_time)
            t.setString(18, u.pay_time)
            t.setString(19, u.receive_time)
            t.setString(20, u.order_status)
            t.setInt(21, u.order_point)
            t.setString(22, u.invoice_title)
            t.setString(23, u.modified_time)
          }
        },
        JdbcExecutionOptions.builder()
          .withBatchSize(1000)
          .withBatchIntervalMs(200)
//          .withMaxRetries(5)
          .build(), jdbcBuild))

完整代码：

package pt

import Utilities.{Data, Order_Master_Data}
import com.clickhouse.client.internal.okhttp.Connection
import com.google.gson.Gson
import org.apache.flink.api.common.serialization.SimpleStringSchema
import org.apache.flink.configuration.Configuration
import org.apache.flink.connector.jdbc.{JdbcConnectionOptions, JdbcExecutionOptions, JdbcSink, JdbcStatementBuilder}
import org.apache.flink.streaming.api.functions.sink.{RichSinkFunction, SinkFunction}
import org.apache.flink.streaming.api.scala._
import org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumer

import java.sql.PreparedStatement
import java.util.Properties
import scala.sys.env

object Flink7 {
  def main(args: Array[String]): Unit = {
    val env = StreamExecutionEnvironment.getExecutionEnvironment
    env.setParallelism(1)

    val properties = new Properties()
    properties.setProperty("bootstrap.servers", "192.168.45.13:9092,192.168.45.14:9092,192.168.45.15:9092")
    properties.setProperty("group.id", "pt-test7")

    val kafkaConsumer = new FlinkKafkaConsumer[String]("fact_order_master", new SimpleStringSchema(), properties)

    // ClickHouse JDBC 配置
    val jdbcBuild = new JdbcConnectionOptions.JdbcConnectionOptionsBuilder()
      .withUrl("jdbc:clickhouse://192.168.45.13/shtd_result")
      .withPassword("123456")
      .withDriverName("ru.yandex.clickhouse.ClickHouseDriver")
      .withUsername("default")
      .build()

    val sqlStr = "INSERT INTO order_master (" +
      " order_id," +
      " order_sn," +
      " customer_id," +
      " shipping_user," +
      " province," +
      " city," +
      " address," +
      " order_source," +
      " payment_method," +
      " order_money," +
      " district_money," +
      " shipping_money," +
      " payment_money," +
      " shipping_comp_name," +
      " shipping_sn," +
      " create_time," +
      " shipping_time," +
      " pay_time," +
      " receive_time," +
      " order_status," +
      " order_point," +
      " invoice_title," +
      " modified_time" +
      ") values (?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?)"

    val order_Stream = env.addSource(kafkaConsumer)
      .map(data =>{
        val str = data.replaceAll("NULL", "0")
        val gson = new Gson()
        val gsonStr = gson.fromJson(str, classOf[Data])
        gsonStr
      })
      .filter(data =>{
        data.order_status.equals("已退款")
      })

    order_Stream.addSink(
      JdbcSink.sink(
        sqlStr,
        // 预编译语句
        new JdbcStatementBuilder[Data] {
          override def accept(t: PreparedStatement, u: Data): Unit = {
            t.setString(1, u.order_id)
            t.setString(2, u.order_sn.toString)
            t.setLong(3, u.customer_id)
            t.setString(4, u.shipping_user)
            t.setString(5, u.province)
            t.setString(6, u.city)
            t.setString(7, u.address)
            t.setInt(8, u.order_source)
            t.setInt(9, u.payment_method)
            t.setDouble(10, u.order_money)
            t.setDouble(11, u.district_money)
            t.setDouble(12, u.shipping_money)
            t.setDouble(13, u.payment_money)
            t.setString(14, u.shipping_comp_name)
            t.setString(15, u.shipping_sn)
            t.setString(16, u.create_time.toString)
            t.setString(17, u.shipping_time)
            t.setString(18, u.pay_time)
            t.setString(19, u.receive_time)
            t.setString(20, u.order_status)
            t.setInt(21, u.order_point)
            t.setString(22, u.invoice_title)
            t.setString(23, u.modified_time)
          }
        },
        JdbcExecutionOptions.builder()
          .withBatchSize(1000)
          .withBatchIntervalMs(200)
//          .withMaxRetries(5)
          .build(), jdbcBuild))

    order_Stream.print()

    env.execute()
  }
}

Oz_Mood
关注
hive数据迁移到clickhouse+kafka数据写入clickhouse
张小小凡
12-16 3648
hive数据迁移到clickhouse 文章目录hive数据迁移到clickhouse1.使用命令导入2.使用waterdropkafka数据写入clickhouse 1.使用命令导入 #1.hive数据导出成csv格式 hive -e "select id,name,age from xxx" | tr "\t" "," > /otp/data/test.csv #2.导入clickhouse clickhouse-client -h hadoop102 --query='INSERT INTO
将数据从消息队列kafka写到ClickHouse集群中
qq_41919329的博客
10-13 4039
1、概述 在生产环境中，经常遇到将数据从消息队列Kafka写到ClickHouse集群中，本文介绍如何将Kafka的数据导入到ClickHouse集群的方案。 Kafka 是目前应用非常广泛的开源消息中间件，一个常用的的场景就是做数据总线收集各个服务的数据，下游各种数据服务订阅消费数据，生成各种报表或数据应用等。Clickhouse 的自带了 Kafka Engine，使得 Clickhouse 和 Kafka 的集成变得非常容易。 将Kafka中数据导入ClickHouse的标准流程是： 在Cli
Flink学习13：Flink外接kafka数据源
hzp666的博客
08-09 3895
borker即是kafka集群的每台机器Topic是一类数据的集合。
Flink SQL 实时读取 kafka 数据写入 Clickhouse —— 日志处理（三）
最新发布
奔跑的蜗牛的博客
07-21 1598
本文总结了如何使用使用 Clickhouse 保存日志数据，以及如何通过 Flink SQL 将我们的日志实时从 kafka 同步至 clickhouse，然后在结合强大的第三方查询 BI 工具 superset，玩转业务日志，挖掘业务日志的潜在价值。 本文设计到的技能知识点比较多，需要熟悉 Clickhouse， Kafka, FlinkSQL, Superset 等，我之前的文章中总结了一些关于 Clickhouse 和 Kafka 相关的内容，感兴趣的读者可以看看.
Flink写入数据到ClickHouse
a805814077的博客
07-04 2099
使用Flink将流式数据写入到ClickHouse
【Flink-Sql-Kafka-To-ClickHouse】使用 FlinkSql 将 Kafka 数据写入 ClickHouse
weixin_53543905的博客
12-16 1343
在 Kafka 中写入对应 ClickHouse 格式的 Json 测试数据，观察 ClickHouse 中是否有数据写入。集群模式要创建两次表，一次为 local 本地表，一次为 cluster 集群表。1、创建表（此处我们使用生产环境中较为常用的 cluster 集群模式建表）1、数据源为 Kafka，定义 Kafka-Topic 为动态临时视图表。如果在服务器上执行，需要将 jar 放到 Flink 的 lib 目录下。2、写入到 ClickHouse，自定义 Sink 表。1、创建好Topic。
Flink消费Kafka插入Clickhouse
weixin_44378305的博客
05-31 4615
Flink消费Kafka插入Clickhouse 目录Flink消费Kafka插入Clickhouse一、Maven依赖二、Job类二、Kafka FlatMap算子三、Clickhouse FlatMap算子四、Clickhouse建表 一、Maven依赖 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-cl
【Flink-Kafka-To-ClickHouse】使用 Flink 实现 Kafka 数据写入 ClickHouse
weixin_53543905的博客
12-21 2555
需求描述：1、数据从 Kafka 写入 ClickHouse。2、相关配置存放于 Mysql 中，通过 Mysql 进行动态读取。3、此案例中的 Kafka 是进行了 Kerberos 安全认证的，如果不需要自行修改。4、先在 ClickHouse 中创建表然后动态获取 ClickHouse 的表结构。5、Kafka 数据为 Json 格式，通过 FlatMap 扁平化处理后，根据表结构封装到 Row 中后完成写入。6、写入时转换成临时视图模式，利用 Flink-Sql 实现数据写入。7、本地测试时可以编辑
Flink1.16消费Kafka数据并批量插入到Clickhouse
09-12 1009
实现思路：通过实现SpringBoot的CommandLine接口以达到容器启动完成就初始化并常驻的任务操作。
flink-clickhouse-sink:Flink水槽的Clickhouse
05-17
Flink-ClickHouse-Sink 描述 用于数据库的器。 由。 用于将数据加载到ClickHouse的高性能库。 它有两个触发器来加载数据：超时和缓冲区大小。 版本图 闪烁 flink-clickhouse-sink 1.3。* 1.0.0 1.9。* 1.3.1 安装 Maven中央 < dependency> < groupId>ru.ivi.opensource</ groupId> < artifactId>flink-clickhouse-sink</ artifactId> < version>1.3.1</ version> </ dependency> 用法 特性 flink-clickhouse-sink使用配置属性的两个部分：common和操作员链中的每个接收器。 共同的部分（像全局一样使用）： clickhouse
基于Flink+FlinkCDC+FlinkSQL+Clickhouse构建实时数据仓库2022
10-26
分享一套flink实时数仓的课程——《基于Flink+FlinkCDC+FlinkSQL+Clickhouse构建实时数据仓库》，2022年10月完结的新课，课程基于flink1.14版本，视频+源码+课件+软件包，一起提供下载！
flink从kafka读取数据写入clickhouse本地表的实现
weixin_44168526的博客
03-13 5872
实现功能 因为直接写clickhouse的分布式表在数据量比较大的时候会有各种问题，所以做了一个flink读取kafka数据然后路由写入到相应的本地表节点，并且关于不同的表的配置信息可以随时更改并设置生效时间。 实现流程 首先从kafka将数据读取过来 然后进行相应的处理及逻辑判断写入到对应的clickhouse表格中 最后根据CDC读取来的配置信息进行相应节点的hash路由，直接写入本地表 读取kafka数据 定义kafka工具类，实现kafka的source获取函数 public sta
Flink消费kafka消息并写入Clickhouse数据库实战
东城庞太师
05-10 1892
kafka生产数据 import java.text.SimpleDateFormat import java.util.{Date, Locale, Properties} import org.apache.kafka.clients.producer.{KafkaProducer, ProducerRecord} import Array._ import scala.util.Random.shuffle /** * @author pangsl * @date 2021/3/.
Flink同步Kafka数据到ClickHouse分布式表
大数据技术派
12-01 486
ClickHouse是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS)。列式数据库更适合于OLAP场景(对于大多数查询而言，处理速度至少提高了100倍)，下面详细解释了原因(通过图片更有利于直观理解)，图片来源于ClickHouse中文官方文档。行式列式我们使用Flink编写程序，消费kafka里面的主题数据，清洗、归一，写入到clickhouse里面去。
flink读clickhouse，自定义sink和source
jianm_liu的博客
01-15 1002
flink分批读clickhouse数据，处理后再存clickhouse。存量数据：按天分批取数据处理；增量数据：每隔一段时间拉取一次数据。
十分钟掌握 Flink CDC，实现Mysql数据增量备份到Clickhouse [纯干货，建议收藏]
2401_84046645的博客
04-12 2261
切莫死记硬背，小心面试官直接让你出门右拐1000道互联网Java面试题：
Flink实时读取Kafka数据写入Clickhouse并实时展示
lbship的博客
10-30 8348
1.启动ZooKeeper ./zkServer.sh start .2.启动Kafka ./kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties 3.创建topic ./kafka-topics.sh --create --zookeeper 192.168.226.10:2181 --replication-factor 1 --partitions 1 --topic test 查看是否成功 ./kafka-
Flink 写数据到ClickHouse
热门推荐
认知 行动 坚持
01-03 1万+
目录 一、导入clickhouse jdbc 依赖 二、编写 Flink 写入ClickHouse代码 三、创建ClickHouse 表 四、运行向localhost，7777端口发送数据，并启动Flink应用程序 五、查询ClickHouse 数据结果，验证数据是否写入成功 一、导入clickhouse jdbc 依赖 <!-- 写入数据到clickhouse --> <dependency> <g.
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值