Flink读取kafka主题，并写入hbase

最新推荐文章于 2024-09-03 07:03:51 发布
最新推荐文章于 2024-09-03 07:03:51 发布
阅读量2.1k 收藏 31
点赞数 29
文章标签： 笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/taoyundao_1/article/details/133922832
版权

作者：陶运道

  目录

      第一部分 纯DDL编程模式

      第二部分 table api编程模式

                                      第一部分 纯DDL编程模式

DDL形式实现kafka->Flink->Hbase，具体的流程,流程如下:

https://i-blog.csdnimg.cn/blog_migrate/ea74c675abdb9a6abdd20cf9f6da3016.png

Flink将kafka主题user_behavior内容,通过Flink SQL Client,存入hbase表venn中。

一、开发环境

组件        版本

Flink(HA) 1.17.2

Zookeeper       3.4.5

Hadoop   3.2.3

Hbase(HA)       2.4.15

Kafka(HA)        3.2.1

本次用到包flink 的lib目录中

Sql连接器下载地址

本次解决问题是用了flink-sql-connector-hbase-2.2-1.17.2.jar

Flink1.17.有两个版本连接器   1.4 和2.2 ，本次采用2.2、

下载网站及说明

 HBase | Apache Flink

n order to use the HBase connector the following dependencies are required for both projects using a build automation tool (such as Maven or SBT) and SQL Client with SQL JAR bundles.

HBase version

Maven dependency

SQL Client JAR

1.4.x

 
<dependency>
  <groupId>org.apache.flink</groupId>
  <artifactId>flink-connector-hbase-1.4</artifactId>
  <version>1.17.2</version>
</dependency>

Download

2.2.x

 
<dependency>
  <groupId>org.apache.flink</groupId>
  <artifactId>flink-connector-hbase-2.2</artifactId>
  <version>1.17.2</version>
</dependency>

Downloa

二、实践用到操作

1.hbase命令

命令行                  作用

hbase shell                进入命令行客户端

create 'venn','cf'            新建表格venn,其中cf是列簇

scan 'venn',{LIMIT=>1}      查看新建的表格中的数据内容

2.kafka命令

kafka-topics.sh --list -bootstrap-server master:9092         查看topic

kafka-console-producer.sh --bootstrap-server master:9092 --topic user_behavior

kafka-console-consumer.sh --bootstrap-server master:9092 --from-beginning --topic user_behavior

kafka-topics.sh --bootstrap-server master:9092 --delete --topic user_behavior  

三、实验步骤

1.产生主题消息

注意：（1）数据示例如下(传一条按下回车

     （2）格式为json 所有字段值均加””

kafka-console-producer.sh --bootstrap-server master:9092 --topic user_behavior

{"user_id": "543462", "item_id":"1715", "category_id": "1464116", "behavior": "pv", "ts": "2017-11-26 01:00:00"}

{"user_id": "662867", "item_id":"2244074", "category_id": "1575622", "behavior": "pv", "ts": "2017-11-26 01:00:00"}

{"user_id": "561558", "item_id":"3611281", "category_id": "965809", "behavior": "pv", "ts": "2017-11-26 01:00:00"}

{"user_id": "894923", "item_id":"3076029", "category_id": "1879194", "behavior": "pv", "ts": "2017-11-26 01:00:00"}

{"user_id": "834377", "item_id":"4541270", "category_id": "3738615", "behavior": "pv", "ts": "2017-11-26 01:00:00"}

{"user_id": "315321", "item_id":"942195", "category_id": "4339722", "behavior": "pv", "ts": "2017-11-26 01:00:00"}

{"user_id": "625915", "item_id":"1162383", "category_id": "570735", "behavior": "pv", "ts": "2017-11-26 01:00:00"}

{"user_id": "578814", "item_id":"176722", "category_id": "982926", "behavior": "pv", "ts": "2017-11-26 01:00:00"}

{"user_id": "873335", "item_id":"1256540", "category_id": "1451783", "behavior": "pv", "ts": "2017-11-26 01:00:00"}

{"user_id": "429984", "item_id":"4625350", "category_id": "2355072", "behavior": "pv", "ts": "2017-11-26 01:00:00"}

{"user_id": "866796", "item_id":"534083", "category_id": "4203730", "behavior": "pv", "ts": "2017-11-26 01:00:00"}

{"user_id": "937166", "item_id":"321683", "category_id": "2355072", "behavior": "pv", "ts": "2017-11-26 01:00:00"}

2. 创建hbase表

#hbase shell   进行hbase命令行

hbase(main):014:0> create 'venn','cf'       创建表，有一个列族cf

3. 启动Flink SQL Client将kafka主题写入hbase

（1）加入连接器到flink的lib目录中，并启动flink集群

（2）启动有关服务

#start-all.sh  //启动hadoop集群

#start-cluster.sh     //启动flink集群

# start-hbase.sh     启动hbase服务

注意附带要启动Flink集群,本实验室standalone模式

# 启动kafka服务

#sql-client.sh   启动flink-sql窗口

（3）读 kafka(json)消息 并写入表sourceTable

Flink-sql>CREATE TABLE user_log(

    user_id VARCHAR,

    item_id VARCHAR,

    category_id VARCHAR,

    behavior VARCHAR,

    ts TIMESTAMP(3)

) WITH (  'connector' = 'kafka',

  'topic' = 'user_behavior',

  'properties.bootstrap.servers' = 'master:9092',

  'properties.group.id' = 'FlinkConsumer',

  'scan.startup.mode' = 'earliest-offset',

  'format' = 'json',

  'json.fail-on-missing-field' = 'false',

  'json.ignore-parse-errors' = 'true'

);

Flink SQL> select * from user_log;

注： flink与kafka连接所需要连接器

（4）创建表sinkTable 用于连接hbase表

CREATE TABLE user_log_sink (

    user_id VARCHAR,

    cf ROW(item_id VARCHAR, category_id VARCHAR, behavior VARCHAR, ts TIMESTAMP(3))

)WITH (

 'connector' = 'hbase-2.2',

 'table-name' = 'venn',

 'zookeeper.quorum' = 'master:2181'

);

注  意:

以下格式是hbase连接器老版本格式。在flink1.17.2版本上练习时为此错误花费好长时间

CREATE TABLE user_log_sink (

    user_id VARCHAR,

    cf ROW(item_id VARCHAR, category_id VARCHAR, behavior VARCHAR, ts TIMESTAMP(3))

) WITH (

    'connector.type' = 'hbase',

    'connector.version' = ' hbase-2.2', -- hbase vesion

    'connector.table-name' = 'venn',                  -- hbase table name

    'connector.zookeeper.quorum' = 'master:2181',       -- zookeeper quorum

    'connector.zookeeper.znode.parent' = '/hbase'    -- hbase znode in zookeeper

'connector.write.buffer-flush.max-size' = '10mb', -- max flush size

    'connector.write.buffer-flush.max-rows' = '1000', -- max flush rows

    'connector.write.buffer-flush.interval' = '2s'    -- max flush interval

);

（5）提交任务,将user_log表内容插入到user_log_sink，同时存入hbase

INSERT INTO user_log_sink

SELECT user_id,

  ROW(item_id, category_id, behavior, ts ) as cf

FROM user_log;

（6）查询出现问题

  查询插入结果要利用 hbase shell查询，不能利用语句select * from user_log_sink;查询

注意查询是本次插入的记录，而不是hbase表记录。这一点要清楚。

错误1：对于以上版本，则出现以下错误，如下：

 [ERROR] Could not execute SQL statement. Reason:

org.apache.flink.table.factories.NoMatchingTableFactoryException: Could not find a suitable table factory for 'org.apache.flink.table.factories.TableSourceFactory' in

the classpath.

错误2：出现以下错误

ava.lang.NoSuchMethodError: org.apache.flink.table.types.logical.utils.LogicalTypeChecks.hasFamily(Lorg/apache/flink/table/types/logical/LogicalType;Lorg/apache/flink/table/types/logical/LogicalTypeFamily;)Z

是版本号错误 flink-sql-connector-hbase-2.2-1.17.2.jar     1.17.2与flink版本号不对

结束语

  （1）主题消息按行组织 格式：{"user_id": "543462", "item_id":"1715", "category_id": "1464116", "behavior": "pv", "ts": "2017-11-26 01:00:00"}

{"字段1": "值1", "字段2":"值2", …… , "字段n": "值n"}

主题字段与hbase表中键、列名相对应，否则无法正确写入表格

（2）令人头痛的是 有两点：是flink与hbase连接器，关键版本对应关系要试。

 Flink1.17.2 对应flink-sql-connector-hbase-2.2-1.17.2.jar 

（3）网上案例，很少有做出来的。原因就在于版本不同，代码也不近相同，但不失参考价值。唯一方法就是多找几份参考。

（4）对于一大题，可拆成若干步，如上面可拆成连接kafka，连接hbase，插入三步，缩小问题范围。

第二部分  table api编程模式

一、代码

import org.apache.flink.streaming.api.TimeCharacteristic
import org.apache.flink.streaming.api.scala._
import org.apache.flink.table.api.bridge.scala.StreamTableEnvironment
object  scala_1{
   def main(args: Array[String]): Unit = {
      val env = StreamExecutionEnvironment.getExecutionEnvironment
      //默认流时间方式
      env.setStreamTimeCharacteristic(TimeCharacteristic.ProcessingTime)
     //构建StreamTableEnvironment
      val tenv = StreamTableEnvironment.create(env)
      val table_sql =
         """CREATE TABLE st (
           |`user_id` VARCHAR,
           |`item_id` VARCHAR,
           |`category_id` VARCHAR,
           |`behavior` VARCHAR,
           |`ts` TIMESTAMP(3))
           |WITH ('connector' = 'kafka',
           |'topic' = 'user_behavior',
           |'properties.bootstrap.servers' = 'master:9092',
           |'properties.group.id' = 'testGroup',
           |'scan.startup.mode' = 'earliest-offset',
           |'format' = 'json')""".stripMargin
           val f=tenv.executeSql(table_sql)

 tenv.toDataStream(tenv.sqlQuery("select * from st")) //语句不能少，相当于刷新，否则无法为下沉表sk提供流数据
         val f2=tenv.executeSql(
        """
         CREATE TABLE sk (
          user_id VARCHAR,
          cf ROW(item_id VARCHAR, category_id VARCHAR, behavior VARCHAR, ts TIMESTAMP(3))
      )WITH (
       'connector' = 'hbase-2.2',
       'table-name' = 'venn',
       'zookeeper.quorum' = 'master:2181'
       ) """.stripMargin)
       tenv.executeSql(
         """
           |insert into sk
           |select user_id,ROW(item_id,category_id,behavior,ts) as cf from st
          """.stripMargin)
      env.execute()
   }
}

二、 pom.xlm

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <groupId>org.example</groupId>
    <artifactId>FlinkTutorial</artifactId>
    <version>1.0-SNAPSHOT</version>

    <properties>
        <maven.compiler.source>8</maven.compiler.source>
        <maven.compiler.target>8</maven.compiler.target>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
        <scala.version>2.12</scala.version>
        <hdfs.version>3.2.3</hdfs.version>
        <flink.version>1.17.1</flink.version>
        <kafka.version>3.2.1</kafka.version>
        <flink-connector-redis.verion>1.1.5</flink-connector-redis.verion>
        <mysql.version>5.1.47</mysql.version>
        <mysqlconnect.version>5.1.47</mysqlconnect.version>
        <lang3.version>3.9</lang3.version>

    </properties>
    <dependencies>
        <dependency>
            <groupId>com.esotericsoftware</groupId>
            <artifactId>kryo-shaded</artifactId>
            <version>4.0.2</version>
        </dependency>

        <!--scala-->
        <dependency>
            <groupId>org.scala-lang</groupId>
            <artifactId>scala-reflect</artifactId>
            <version>${scala.version}.12</version>
        </dependency>
        <dependency>
            <groupId>org.scala-lang</groupId>
            <artifactId>scala-compiler</artifactId>
            <version>${scala.version}.12</version>
        </dependency>
        <dependency>
            <groupId>org.scala-lang</groupId>
            <artifactId>scala-library</artifactId>
            <version>${scala.version}.12</version>
        </dependency>

        <!--kafka-->
        <dependency>
            <groupId>org.apache.kafka</groupId>
            <artifactId>kafka_${scala.version}</artifactId>
            <version>${kafka.version}</version>
        </dependency>

        <!--flink 实时处理-->
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-runtime-web</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-clients</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-streaming-scala_${scala.version}</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-sql-connector-kafka</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-table-common</artifactId>
            <version>1.17.2</version>
        </dependency>


        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-table-api-scala-bridge_2.12</artifactId>
            <version>1.17.2</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-table-planner_2.12</artifactId>
            <version>1.17.2</version>
        </dependency>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-json</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-hive_${scala.version}
            </artifactId>
            <version>${flink.version}</version>
        </dependency>
        <!--mysql连接器-->
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-jdbc_2.12</artifactId>
            <version>1.14.0</version>
        </dependency>

        <!-- hadoop相关-->
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>${hdfs.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-auth</artifactId>
            <version>${hdfs.version}</version>
        </dependency>

<!—在table api下以下两个hbase连接器都可用，之一也可-->

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-sql-connector-hbase-2.2</artifactId>
            <version>1.17.2</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-hbase-2.2</artifactId>
            <version>1.17.2</version>
        </dependency>
    </dependencies>
</project>

taoyundao_1
关注
Flink读取kafka数据并写入HDFS
微信搜：import_bigdata，大数据领域硬核原创作者
03-31 7048
flink的官网对于写入HDFS的例子比较简单，很难跑起来，缺少更详细的描述。 目标： 本地代码flink streaming读取远程环境的kafka的数据，写入远程环境的HDFS中； 核心代码： public static void main(String[] args) throws Exception { // set up the streaming execution......
flink读kafka写入mysql_Flink 1.9 实战：使用 SQL 读取 Kafka 并写入 MySQL
weixin_31361715的博客
01-19 328
上周六在深圳分享了《Flink SQL 1.9.0 技术内幕和最佳实践》，会后许多小伙伴对最后演示环节的 Demo 代码非常感兴趣，迫不及待地想尝试下，所以写了这篇文章分享下这份代码。希望对于 Flink SQL 的初学者能有所帮助。完整分享可以观看 Meetup 视频回顾 ：https://developer.aliyun.com/live/1416这份代码主要由两部分组成：1) 能用来提交 S...
Flink 读取kafka数据存入hbase代码
qq_31866793的博客
10-31 1036
如下： package application; import com.alibaba.fastjson.JSONObject; import hbase.HbaseRowKeyUtil; import operator.*; import org.apache.commons.collections.IteratorUtils; import org.apache.commons.l...
日志项目之——将kafka数据存入hbase中
雷神乐乐的博客
05-06 1284
日志项目之——将kafka数据存入hbase中
Apache Flink JDBC 连接器使用教程
最新发布
gitblog_00181的博客
09-03 408
Apache Flink JDBC 连接器使用教程 flink-connector-jdbcApache Flink Connector JDBC: 是一个开源项目，用于连接 Apache Flink 和关系型数据库。它可以帮助开发者构建实时数据处理应用程序。适合有实时数据处理和 SQL 查询经验的开发者。特点：实时数据处理，关系型数据库连接，易于使用。项目地址:https://gitcode....
Flink数据实时写入HBase
roi666的博客
01-26 729
【代码】Flink数据实时写入HBase。
flink写入hbase
u012447842的博客
05-14 9298
参考： https://www.cnblogs.com/swordfall/p/10527423.html flink 流处理写入数据到hbase. 采用的是批量写入（500条数据写入一次）。 HBaseWriter.java package com.flink; import com.flink.model.DeviceData; import org.apache.commo...
Flink 消费kafka数据写入hbase
@羲凡—只为更好的活着
11-22 3724
@羲凡——只为了更好的活着 Flink 消费kafka数据写入hbase 一.前提准备 1.创建Hbase表 create 'test_20191122','info' 2.pom.xml文件中要添加依赖 <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-cli...
Flink读Kafka写入HBase
落幕7的博客
11-29 1375
文章目录Flink从kafka读数据写入HBase读取Hbase数据 Flink从kafka读数据写入HBase Flink官网帮助文档链接 先导入依赖 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-hbase_2.11</artifactId> <version&
flink读取kafka写入到hbase
07-28
在使用Flink读取Kafka并将数据写入HBase的过程中，可以按照以下步骤进行操作。首先，创建一个Kafka数据源，从Kafka中读取数据。然后，将Kafka中的数据转换为HBase行，并使用HBaseSink将HBase行写入HBase中。在HBase...
flink-kafka-hbase:功能：实现kafka消息实时落地hbase，支持csvjson字符串两种格式的消息，支持自定义组合rowkey,列簇和列名，支持按照kafka消息流中不同字段join不同的hbase表，并自定义写入列簇和列(join时需评估一下性能)， 支持at least once语义 外部依赖：apollo配置中心，本项目依靠配置驱动，配置存储在apollo配置中心
05-26
flink-kafka-hbase 功能：实现kafka消息实时落地hbase，支持csv/json字符串两种格式的消息，支持自定义组合rowkey,列簇和列名，支持按照kafka消息流中不同字段join不同的hbase表，并自定义写入列簇和列(join时需评估一下性能) 支持at least once语义 外部依赖：apollo配置中心，本项目依靠配置驱动，配置存储在apollo配置中心 配置： { "indexColumnMapping": { --indexColumnMapping即CSV格式消息的key和value按照value里的分隔符拼接后再分割后下标及写入hbase列的对应关系 "0": "basic:time", --第0列始终是kafka消息的key，如果不需要可以不指定 "1": "basic:user_id",
flink读取kafka写入hbase
06-28
Flink可以通过Kafka Connector来读取Kafka中的数据，然后使用HBase Connector将数据写入HBase中。具体步骤如下： 1. 首先需要在Flink中引入Kafka和HBase的依赖。 2. 创建一个Kafka Consumer，使用Kafka Connector...
Flink 内容分享(七)：Flink 读写 HBase 总结
之乎者也·的博客
12-30 3133
总结 Flink 读写 HBase本文总结了Flink SQL 读写 HBase 的参数配置，解决了在kerberos环境下因 hudi 包 hbase-site.xml 配置冲突引起的异常，学习总结了 Flink SQL 读写 HBase 时加载 HBase 配置的优先级，但是没有详细的分析源码中的逻辑，可能会在后面的文章中补充相关的源码分析~
flink加载kafka数据源存储至hbase
fengchengwu2012的博客
11-21 1370
flink计算框架、kafka数源、iphoenix连接hbase存储数据
Flink读取hbase的数据然后对数据进行业务操作以后写入到hbase中
不会写代码
09-28 1008
import cn.flink.streaming.sink.VehicleDetailSinkFunction; import cn.flink.streaming.source.VechileDetailSourceFunction; import org.apache.flink.api.common.restartstrategy.RestartStrategies; import org.apache.flink.api.java.tuple.Tuple9; import org.apache.f
flink sql 读取 kafka 数据写入 Hbase中
zuixue_lei的博客
03-30 2180
版本说明： flink 1.12 、Hbase 1.4 1、查询 flink 1.12 的官网，找寻flink sql 连接 Hbase 的信息。 Apache Flink 1.12 Documentation: HBase SQL Connector 根据 Hbase 版本需要下载依赖 官网中的连接信息 -- register the HBase table 'mytable' in Flink SQL CREATE TABLE hTable ( rowkey I...
kafka-flink-hbase
我见青山多妩媚，料青山见我应如是
11-26 2277
前言 flink现在是越来越火了，我最近也有在看flink官网，上周五一个朋友叫我写个flink读取kafka，还有读取mysql，本人比较苦逼，没有实验集群，样例是写出来了，能不能成事，你们用自己的集群测试一下 flink-1.6.2 kafka-0.10 Maven pom.xml &amp;lt;!--hadoop--&amp;gt; &amp;lt;dependency&amp;gt; ...
flink 同步kafka的数据到hbase
wuchongyong的博客
05-18 716
Flink 是一个分布式数据处理框架，Kafka 是一个高性能的消息队列，HBase 是一个分布式高可用的 NoSQL 数据库。在上面的代码中，我们首先创建一个 Kafka 数据源，从 Kafka 中读取数据。然后，我们将 Kafka 中的数据转换为 HBase 行，并使用 HBaseSink 将 HBase 行写入 HBase 中。需要注意的是，在 HBaseSink 中，我们使用 HBase 的 Java API 将 HBase 行写入 HBase 中。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值