Flink sql 1.13 读kafka 实时写Hbase

最新推荐文章于 2024-07-01 02:25:02 发布
最新推荐文章于 2024-07-01 02:25:02 发布
阅读量1.1k 收藏 3
点赞数
分类专栏： flink 文章标签： kafka flink sql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yswhfd/article/details/121693828
版权

思路解析

1. 在hbase创建hbase-table
2. 代码中注册HbaseSinkTable 关联 hbase-table
3. 代码中注册KafkasourceTable
4. 代码中执行 insert select sql。

参考文章

Flink-sql kafka 实时写入Hive

版本

Hbase 2.1.0-cdh6.1.1

pom文件

文件中有一些没有用的依赖，可以自己剔除。

  <properties>
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    <maven.compiler.source>1.8</maven.compiler.source>
    <maven.compiler.target>1.8</maven.compiler.target>
    <flink.version>1.13.1</flink.version>
    <scala.version>2.11</scala.version>
<!--    <hive.version>2.1.1</hive.version>-->
    <hive.version>2.1.1-cdh6.1.1</hive.version>
<!--    <hadoop.version>3.0.0</hadoop.version>-->
    <hadoop.version>3.0.0-cdh6.1.1</hadoop.version>
    <log4j.version>2.8.2</log4j.version>
    <fastjson.version>1.2.7</fastjson.version>

  </properties>
  <!--    <dependency>-->
  <!--      <groupId>org.apache.flink</groupId>-->
  <!--&lt;!&ndash;      <artifactId>flink-sql-connector-hive-${hive.version}_${scala.version}</artifactId>&ndash;&gt;-->
  <!--      <artifactId>flink-sql-connector-hive-2.2.0_${scala.version}</artifactId>-->
  <!--      <version>${flink.version}</version>-->
  <!--      <scope>provided</scope>-->
  <!--    </dependency>-->
      <repositories>
          <repository>
              <id>cloudera</id>
              <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
          </repository>
          <!--    <repository>-->
          <!--      <id>spring-plugin</id>-->
          <!--      <url>https://repo.spring.io/plugins-release/</url>-->
          <!--    </repository>-->
      </repositories>

  <dependencies>
    <!-- https://mvnrepository.com/artifact/org.apache.commons/commons-compress -->
    <dependency>
      <groupId>org.apache.commons</groupId>
      <artifactId>commons-compress</artifactId>
      <version>1.19</version>
    </dependency>
    <dependency>
      <groupId>com.alibaba</groupId>
      <artifactId>fastjson</artifactId>
      <version>${fastjson.version}</version>
    </dependency>

    <dependency>
        <groupId>commons-cli</groupId>
        <artifactId>commons-cli</artifactId>
        <version>1.4</version>
    </dependency>
    <!-- Apache Flink dependencies -->
    <!-- These dependencies are provided, because they should not be packaged into the JAR file. -->
<!--    <dependency>-->
<!--      <groupId>org.apache.flink</groupId>-->
<!--      <artifactId>flink-scala_2.11</artifactId>-->
<!--      <version>${flink.version}</version>-->
<!--      <scope>provided</scope>-->
<!--    </dependency>-->
    <dependency>
      <groupId>org.apache.flink</groupId>
      <artifactId>flink-streaming-scala_${scala.version}</artifactId>
      <version>${flink.version}</version>
<!--      <scope>provided</scope>-->
    </dependency>
    <dependency>
      <groupId>org.apache.flink</groupId>
<!--      <artifactId>flink-table-api-java-bridge_2.11</artifactId>-->
      <artifactId>flink-table-api-scala-bridge_2.11</artifactId>
      <version>${flink.version}</version>
<!--      <scope>provided</scope>-->
    </dependency>
    <dependency>
      <groupId>org.apache.flink</groupId>
      <artifactId>flink-table-api-java-bridge_2.11</artifactId>
<!--      <artifactId>flink-table-api-scala-bridge_2.11</artifactId>-->
      <version>${flink.version}</version>
<!--      <scope>provided</scope>-->
    </dependency>

<!--    <dependency>-->
<!--      <groupId>org.apache.flink</groupId>-->
<!--      <artifactId>flink-streaming-scala_${scala.version}</artifactId>-->
<!--      <version>${flink.version}</version>-->
<!--      <scope>provided</scope>-->
<!--    </dependency>-->

    <dependency>
      <groupId>org.apache.flink</groupId>
      <artifactId>flink-clients_${scala.version}</artifactId>
      <version>${flink.version}</version>
      <exclusions>
        <exclusion>
          <artifactId>commons-compress</artifactId>
          <groupId>org.apache.commons</groupId>
        </exclusion>
      </exclusions>
      <!--      <scope>provided</scope>-->
    </dependency>

    <!-- Flink SQL dependencies -->

<!--    <dependency>-->
<!--      <groupId>org.apache.flink</groupId>-->
<!--&lt;!&ndash;      <artifactId>flink-table-api-java-bridge_2.11</artifactId>&ndash;&gt;-->
<!--      <artifactId>flink-table-api-scala-bridge_2.11</artifactId>-->
<!--      <version>${flink.version}</version>-->
<!--      <scope>provided</scope>-->
<!--    </dependency>-->
<!--    <dependency>-->
<!--      <groupId>org.apache.flink</groupId>-->
<!--      <artifactId>flink-table-planner_${scala.version}</artifactId>-->
<!--      <version>${flink.version}</version>-->
<!--      <scope>provided</scope>-->
<!--      <exclusions>-->
<!--        <exclusion>-->
<!--          <artifactId>slf4j-api</artifactId>-->
<!--          <groupId>org.slf4j</groupId>-->
<!--        </exclusion>-->
<!--      </exclusions>-->
<!--    </dependency>-->
    <!-- https://mvnrepository.com/artifact/com.ibm/com.ibm.icu -->
    <!-- https://mvnrepository.com/artifact/com.ibm/com.ibm.icu -->
<!--    <dependency>-->
<!--      <groupId>com.ibm</groupId>-->
<!--      <artifactId>com.ibm.icu</artifactId>-->
<!--      <version>3.6.1.v20070906</version>-->
<!--    </dependency>-->


    <dependency>
      <groupId>org.apache.flink</groupId>
      <artifactId>flink-table-planner-blink_2.11</artifactId>
      <version>${flink.version}</version>
      <scope>provided</scope>
    </dependency>
    <!-- https://mvnrepository.com/artifact/org.apache.flink/flink-table-runtime-blink -->
    <dependency>
      <groupId>org.apache.flink</groupId>
      <artifactId>flink-table-runtime-blink_${scala.version}</artifactId>
      <version>${flink.version}</version>
      <scope>provided</scope>
    </dependency>


    <!--    <dependency>-->
<!--      <groupId>org.apache.flink</groupId>-->
<!--      <artifactId>flink-streaming-scala_2.11</artifactId>-->
<!--      <version>${flink.version}</version>-->
<!--      <scope>provided</scope>-->
<!--    </dependency>-->
    <!-- https://mvnrepository.com/artifact/org.apache.calcite/calcite-core -->


    <dependency>
      <groupId>org.apache.flink</groupId>
      <artifactId>flink-table-common</artifactId>
      <version>${flink.version}</version>
<!--      <scope>provided</scope>-->
    </dependency>
    <!-- Add connector dependencies here. They must be in the default scope (compile). -->


    <dependency>
      <groupId>org.apache.flink</groupId>
      <artifactId>flink-sql-connector-kafka_${scala.version}</artifactId>
      <version>${flink.version}</version>
    </dependency>

    <dependency>
      <groupId>org.apache.flink</groupId>
      <artifactId>flink-connector-hbase-2.2_${scala.version}</artifactId>
      <version>${flink.version}</version>
    </dependency>


    <dependency>
      <groupId>org.apache.flink</groupId>
      <artifactId>flink-json</artifactId>
      <version>${flink.version}</version>
    </dependency>
    <dependency>
      <groupId>org.apache.flink</groupId>
      <artifactId>flink-connector-hive_2.11</artifactId>
      <version>${flink.version}</version>
      <!--             <scope>provided</scope>-->
    </dependency>

    <dependency>
      <groupId>org.apache.hive</groupId>
      <artifactId>hive-exec</artifactId>
      <version>${hive.version}</version>
<!--      <version>2.1.1-cdh6.1.1</version>-->
      <exclusions>
        <exclusion>
          <artifactId>calcite-avatica</artifactId>
          <groupId>org.apache.calcite</groupId>
        </exclusion>
        <exclusion>
          <artifactId>calcite-core</artifactId>
          <groupId>org.apache.calcite</groupId>
        </exclusion>
        <exclusion>
          <artifactId>calcite-linq4j</artifactId>
          <groupId>org.apache.calcite</groupId>
        </exclusion>
        <exclusion>
          <artifactId>commons-compress</artifactId>
          <groupId>org.apache.commons</groupId>
        </exclusion>
      </exclusions>
      <!--             <scope>provided</scope>-->
    </dependency>

    <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-client</artifactId>
      <version>${hadoop.version}</version>
      <scope>provided</scope>
      <exclusions>
        <exclusion>
          <artifactId>commons-compress</artifactId>
          <groupId>org.apache.commons</groupId>
        </exclusion>
      </exclusions>
    </dependency>
    <!--<dependency>-->
    <!--<groupId>org.apache.flink</groupId>-->
    <!--<artifactId>flink-shaded-hadoop-3</artifactId>-->
    <!--<version>3.1.1.7.1.1.0-565-9.0</version>-->
    <!--<scope>provided</scope> -->
    <!--</dependency>-->


    <dependency>
      <groupId>org.apache.flink</groupId>
      <artifactId>flink-parquet_2.11</artifactId>
      <version>${flink.version}</version>
    </dependency>

    <dependency>
      <groupId>org.apache.flink</groupId>
      <artifactId>flink-orc_2.11</artifactId>
      <version>${flink.version}</version>
    </dependency>

    <dependency>
      <groupId>org.apache.flink</groupId>
      <artifactId>flink-connector-kafka_${scala.version}</artifactId>
      <version>${flink.version}</version>
    </dependency>
    <dependency>
      <groupId>org.apache.flink</groupId>
      <artifactId>flink-connector-base</artifactId>
      <version>${flink.version}</version>
    </dependency>


    <!--    <dependency>-->
<!--      <groupId>org.apache.kafka</groupId>-->
<!--      <artifactId>kafka-clients</artifactId>-->
<!--      <version>1.0.1</version>-->
<!--    </dependency>-->
<!--    <dependency>-->
<!--      <groupId>org.projectlombok</groupId>-->
<!--      <artifactId>lombok</artifactId>-->
<!--      <version>1.16.18</version>-->
<!--    </dependency>-->


<!--     Add logging framework, to produce console output when running in the IDE.-->
<!--     These dependencies are excluded from the application JAR by default.-->
    <dependency>
      <groupId>org.apache.logging.log4j</groupId>
      <artifactId>log4j-slf4j-impl</artifactId>
      <version>${log4j.version}</version>
      <scope>runtime</scope>
    </dependency>
    <dependency>
      <groupId>org.apache.logging.log4j</groupId>
      <artifactId>log4j-api</artifactId>
      <version>${log4j.version}</version>
      <scope>runtime</scope>
    </dependency>
    <dependency>
      <groupId>org.apache.logging.log4j</groupId>
      <artifactId>log4j-core</artifactId>
      <version>${log4j.version}</version>
      <scope>runtime</scope>
    </dependency>

<!--    <dependency>-->
<!--      <groupId>com.alibaba</groupId>-->
<!--      <artifactId>fastjson</artifactId>-->
<!--      <version>1.2.72</version>-->
<!--    </dependency>-->
    <dependency>
      <groupId>mysql</groupId>
      <artifactId>mysql-connector-java</artifactId>
      <version>5.1.46</version>
    </dependency>
    <dependency>
      <groupId>org.apache.flink</groupId>
      <artifactId>flink-connector-jdbc_2.11</artifactId>
      <version>${flink.version}</version>
    </dependency>
    <!--<dependency>-->
    <!--<groupId>org.apache.flink</groupId>-->
    <!--<artifactId>flink-shaded-hadoop-2-uber</artifactId>-->
    <!--<version>${flink-shaded-hadoop.version}</version>-->
    <!--</dependency>-->
  </dependencies>

Scala demo

import org.apache.flink.api.scala._
import org.apache.flink.runtime.entrypoint.ClusterEntrypoint.ExecutionMode
import org.apache.flink.streaming.api.CheckpointingMode
import org.apache.flink.table.api._
import org.apache.flink.streaming.api.scala.StreamExecutionEnvironment
import org.apache.flink.table.api.bridge.scala.StreamTableEnvironment

/**
 * @Author: jhon_yh
 * @Description: sth todo
 */

// hbase version 2.1.0-cdh6.1.1
object FlinkKafkaHbase extends Logging{
  def main(args: Array[String]): Unit = {
    //获取 流式运行环境
    val env = StreamExecutionEnvironment.getExecutionEnvironment
    env.enableCheckpointing(1000L*60, CheckpointingMode.EXACTLY_ONCE)
    env.getCheckpointConfig.setCheckpointStorage("hdfs://ns/test/yh/checkpoint/hbase/")


    //
    val settings = EnvironmentSettings.newInstance().useBlinkPlanner().build()
    //获取流式表的运行环境
    val tEnv = StreamTableEnvironment.create(env, settings)


    //获取kafka 流
    tEnv.getConfig.setSqlDialect(SqlDialect.DEFAULT)
    tEnv.executeSql("drop table if exists KafkaSourceTable")

    //ts as to_timestamp(from_unixtime(tid/1000, 'yy-MM-dd HH:mm:ss'))

    //  user_action_time AS PROCTIME() -- 声明一个额外的列作为处理时间属性
    val createSourceTableSql: String =
      """
        |create table KafkaSourceTable(
        | vin String,
        | tid String,
        | source String,
        | datas String,
        | ts as substr(concat('20',tid),1,8 )
        | ) WITH (
        | 'connector' = 'kafka',
        | 'topic' = 'HW_BIGDATA',
        | 'properties.bootstrap.servers' = 'bs:9092',
        | 'properties.group.id' = 'flink-test-group',
        | 'format' = 'json',
        | 'scan.startup.mode' = 'earliest-offset',
        | 'json.ignore-parse-errors' = 'true',
        | 'scan.startup.mode' = 'group-offsets'
        |)
        """.stripMargin
    tEnv.executeSql(createSourceTableSql)

    val createSinkTableSql: String =
      """
        |CREATE TABLE mytable (
        | rowkey String,
        | cf1 ROW<tid String, source String, datas String, ts String>,
        | PRIMARY KEY (rowkey) NOT ENFORCED
        |) WITH (
        | 'connector' = 'hbase-2.2',
        | 'table-name' = 'gdc_dev_test:mytable',
        | 'zookeeper.quorum' = 'zk:2181'
        |)
        |""".stripMargin
    log.info(s"createSinkTableSql: $createSinkTableSql")
    tEnv.executeSql(createSinkTableSql)


    val insertSql: String =
      """
        |INSERT INTO mytable
        |SELECT vin, ROW(tid, source, datas, ts) FROM KafkaSourceTable
        |""".stripMargin

    log.info(s"insertSql: $insertSql")
    tEnv.executeSql(insertSql)

  }
}

运行效果图

flink on yarn
在这里插入图片描述

Hbase 数据截图

在这里插入图片描述

Jhon_yh
关注
专栏目录
【Flink】Flink 1.13 版本 KafkaSource 代码解读
九师兄
12-17 902
因为最近看到新版本的kafka source进行改版了，于是就想测试一下看看最新版本的如何使用，顺便debug一下，看看实现原理【Flink】Flink 1.14.0 全新的 Kafka Connector。
基于 FLINK SQL 的实时数据打宽的三种方式
penriver的博客
09-15 1457
本文根据 《【Flink 1.12】基于 FLINK SQL 的实时数据打宽》中的内容整理而成 1 实时数据打宽 利⽤ Flink SQL 打宽实时数据，共有以下方式： 双流join (Regular join) 区间join (Interval join) 时态表join (Temporal join) 1.1 双流join 支持 INNER JOIN， LEFT JOIN， RIGHT JOIN,FULL OUTER JOIN 语法, 语义 均和传统批 SQL 一致 左右流都会触发结果更新 状态持
FlinkSql Kafka入hbase
weixin_45780435的博客
08-19 573
1.创建hbase表 create '表名称','列簇' 2.编写Flinksql CREATE TABLE kafkaSource( id STRING, name STRING, age STRING, dt STRING ) WITH ( type='kafka', kafka.bootstrap.servers='kafka IP地址:9092', kafka.auto.offset.reset='latest', k
Flink SQL 将kafka数据写入HBase
努力让自己更优秀的博客
08-17 1846
1,定义Sql； /** * Created by zhangna on 2020/8/12 12:38 下午 */ public interface TableConstant { String KAFKA_TABLE_SOURCE_DDL_01 = "CREATE TABLE kafka_message_consumer (\n" + " receiv_address STRING,\n" + "
Flink 1.12 读取kafka 写入hbase | 自定义HbaseSink | 含源码
qq_38151907的博客
07-11 6742
Flink 1.12 读取kafka 写入hbase | 自定义HbaseSink | 含源码
Flink任务日志写到kafka【最新1.12，1.13】
weixin_44500374的博客
06-15 2974
这篇文章如果对你有帮助，记得点赞哦！有问题也可以给我评论~ 一、背景 公司的日志希望能够同一到一个Kibana去做一个同一的展示，那就需要将任务的日志写到kafka。 Flink1.12默认的日志框架就是log4j2，那么配置的方式跟之前log4j的方式有了一些区别，这边也踩了一些坑才解决。 二、需要解决的痛点     - 如何区分JobManager和TaskManager的日志     - 如何将jobName信息添加到每条日志中，为后期的日志聚合提供方便 三、详细配置介绍 1、log4j.proper
flink1.13 读取kafka写入hive
qq_36770189的博客
12-09 2433
代码如下所示： public class KafkaToHive { public static void main(String[] args) { StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); //1.12以后默认都是EventTime,这是过期方法,并且不在提IngestionTime //env.setStreamTi
[Flink]一、Flink1.13
最新发布
weixin_44428807的博客
07-01 977
1. Flink简介1.1 Flink的起源和设计理念flink项目的核心目标：数据流上的有状态计算（Stateful Computations over Data Streams)。时间驱动：来一个事件处理一个事件；流处理的流水线；流&批数据分析具体定位是：Apache Flink 是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。Flink 被设计在所有常见的集群环境中运行，以内存执行速度和任意规模来执行计算。1.2 Flink的应用。
Flink1.13 pom.xml配置
GavinKai
10-30 2168
<properties> <flink.version>1.13.1</flink.version> <java.version>1.8</java.version> <scala.binary.version>2.11</scala.binary.version> <hadoop.version>2.7.5</hadoop.version> <hbas.
32.flink sql 语法大全
笔生花的博客
10-09 4256
flink table api 之 time Attributes, which supports standard ANSI SQL(ANSI SQL是sql语言标准).Calcite 是什么？如果用一句话形容 Calcite，Calcite 是一个用于优化异构数据源的查询处理的基础框架。最近十几年来，出现了很多专门的数据处理引擎。例如列式存储 (HBase)、流处理引擎 (Flink)、文档搜索引擎 (Elasticsearch) 等等。
将kafka主题中的数据写到HBase中
alisa_Ge的博客
04-11 502
写在前面，最好将虚拟机的ip地址映射写到windows下的hosts文件中，不然连接会非常的耗时。具体路径：C:\Windows\System32\drivers\etc\hosts 1.新建maven项目——kafkatohbase 项目架构如下： 2.导入pom.xml的依赖 <properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> .
flink sql 读取 kafka 数据写入 Hbase中
zuixue_lei的博客
03-30 2155
版本说明： flink 1.12 、Hbase 1.4 1、查询 flink 1.12 的官网，找寻flink sql 连接 Hbase 的信息。 Apache Flink 1.12 Documentation: HBase SQL Connector 根据 Hbase 版本需要下载依赖 官网中的连接信息 -- register the HBase table 'mytable' in Flink SQL CREATE TABLE hTable ( rowkey I...
flink1.13读kafka写入hive
qq_36062467的博客
07-29 3497
flink1.13读kafka写入hive 第一次写博客，flink自学了一下，网上查找案例，群里问大神，勉强把kafka写hive的流程走通了，在此记录一下，给后来者做个参考 ，其中有考虑不周或者错误的地方，请大家多多包涵和指正，嘻嘻。 代码 package cn.bywin import org.apache.flink.streaming.api.{CheckpointingMode, TimeCharacteristic} import org.apache.flink.streaming.api
Flink 自定义sink 写入Kafka
zx711166的博客
12-30 1066
Flink 自定义sink 写入 Kafka添加依赖构建KafkaSink参数实例构建自定义ClickhouseStoreSink 添加依赖 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-kafka_2.12</artifactId> <version>1.13.2</version> <scope&gt
Flink批处理将数据写入Hbase
别人笑我太疯癫，我笑他人看不穿。
04-18 1477
Flink写出通过自定义Sink实现 pom如下 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http:/
Flink操作Hbase
lck_csdn的博客
05-10 562
github链接地址
flinkSQL kafka to kafka demo
半壁江山009的博客
09-02 358
背景： 使用flinkSQL 消费kafka流数据，操作后吸入kafka flink版本：flink1.13.0 样例数据： {"streamTaskId":"1307" ,"channel":"aa" ,"instanceId":"66996" ,"jobName":"flinksqldemo" ,"jobId":"1231213432432423af" ,"timestamp":1630484255363} source表： String sourcecheckpoi
基于scala使用flink将读取到的数据写入到Hbase
m0_57376564的博客
12-06 719
基于scala使用flink将读取到的数据写入到Hbase
flink读取kafka数据存储iceberg
MY博客
08-08 1078
使用flink实时的读取kafka的数据，并且实时的存储到iceberg中。
flink读kafka写HBase的示例
03-12
可以回答这个问题，以下是一个示例： Flink 读取 Kafka 数据并将其写入 HBase 的示例代码如下： ``` val env = StreamExecutionEnvironment.getExecutionEnvironment val properties = new Properties() properties.setProperty("bootstrap.servers", "localhost:9092") properties.setProperty("group.id", "test") val stream = env.addSource(new FlinkKafkaConsumer[String]("topic", new SimpleStringSchema(), properties)) val hbaseConf = HBaseConfiguration.create() hbaseConf.set("hbase.zookeeper.quorum", "localhost") hbaseConf.set("hbase.zookeeper.property.clientPort", "2181") stream.addSink(new HBaseSink(hbaseConf, "table")) env.execute("Flink Kafka HBase Example") ``` 其中，`FlinkKafkaConsumer` 是 Flink 提供的 Kafka 消费者，`HBaseSink` 是自定义的 HBase Sink，用于将数据写入 HBase。在这个示例中，我们使用了简单的字符串序列化器 `SimpleStringSchema`，并将 Kafka 主题设置为 `topic`，将 HBase 表设置为 `table`。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值