Flink-sql kafka 实时写入Hive

最新推荐文章于 2022-10-13 11:08:45 发布
最新推荐文章于 2022-10-13 11:08:45 发布
阅读量972 收藏 2
点赞数
分类专栏： flink 文章标签： flink hadoop hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yswhfd/article/details/121607609
版权

Flink-sql kafka 实时写入Hive

参考文档

时间定义
https://nightlies.apache.org/flink/flink-docs-release-1.13/zh/docs/dev/table/concepts/time_attributes/

环境

flink 1.13.1
java 1.8
scala 2.11
hive 2.1.1-cdh6.1.1
hadoop 3.0.0-cdh6.1.1

pom

  <properties>
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    <maven.compiler.source>1.8</maven.compiler.source>
    <maven.compiler.target>1.8</maven.compiler.target>
    <flink.version>1.13.1</flink.version>
    <scala.version>2.11</scala.version>
<!--    <hive.version>2.1.1</hive.version>-->
    <hive.version>2.1.1-cdh6.1.1</hive.version>
<!--    <hadoop.version>3.0.0</hadoop.version>-->
    <hadoop.version>3.0.0-cdh6.1.1</hadoop.version>
    <log4j.version>2.8.2</log4j.version>
  </properties>
  <!--    <dependency>-->
  <!--      <groupId>org.apache.flink</groupId>-->
  <!--&lt;!&ndash;      <artifactId>flink-sql-connector-hive-${hive.version}_${scala.version}</artifactId>&ndash;&gt;-->
  <!--      <artifactId>flink-sql-connector-hive-2.2.0_${scala.version}</artifactId>-->
  <!--      <version>${flink.version}</version>-->
  <!--      <scope>provided</scope>-->
  <!--    </dependency>-->
      <repositories>
          <repository>
              <id>cloudera</id>
              <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
          </repository>
          <!--    <repository>-->
          <!--      <id>spring-plugin</id>-->
          <!--      <url>https://repo.spring.io/plugins-release/</url>-->
          <!--    </repository>-->
      </repositories>

<!--  <dependencies>-->
<!--    <dependency>-->
<!--      <groupId>org.apache.flink</groupId>-->
<!--      <artifactId>flink-scala_${scala.version}</artifactId>-->
<!--      <version>${flink.version}</version>-->
<!--    </dependency>-->

<!--    <dependency>-->
<!--      <groupId>org.apache.flink</groupId>-->
<!--      <artifactId>flink-streaming-scala_${scala.version}</artifactId>-->
<!--      <version>${flink.version}</version>-->
<!--      <exclusions>-->
<!--        <exclusion>-->
<!--          <artifactId>commons-cli</artifactId>-->
<!--          <groupId>commons-cli</groupId>-->
<!--        </exclusion>-->
<!--        <exclusion>-->
<!--          <artifactId>commons-io</artifactId>-->
<!--          <groupId>commons-io</groupId>-->
<!--        </exclusion>-->
<!--      </exclusions>-->
<!--    </dependency>-->
<!--    <dependency>-->
<!--        <groupId>commons-cli</groupId>-->
<!--        <artifactId>commons-cli</artifactId>-->
<!--        <version>1.4</version>-->
<!--    </dependency>-->
<!--    &lt;!&ndash; Flink Dependency &ndash;&gt;-->
<!--    <dependency>-->
<!--      <groupId>org.apache.flink</groupId>-->
<!--      <artifactId>flink-connector-hive_2.11</artifactId>-->
<!--      <version>${flink.version}</version>-->
<!--      <scope>provided</scope>-->
<!--    </dependency>-->

<!--    <dependency>-->
<!--      <groupId>org.apache.flink</groupId>-->
<!--      <artifactId>flink-table-api-java-bridge_2.11</artifactId>-->
<!--      <version>${flink.version}</version>-->
<!--      <scope>provided</scope>-->
<!--    </dependency>-->

<!--    &lt;!&ndash; Hive Dependency &ndash;&gt;-->
<!--    <dependency>-->
<!--      <groupId>org.apache.hive</groupId>-->
<!--      <artifactId>hive-exec</artifactId>-->
<!--      <version>${hive.version}</version>-->
<!--      <exclusions>-->
<!--        <exclusion>-->
<!--          <artifactId>commons-cli</artifactId>-->
<!--          <groupId>commons-cli</groupId>-->
<!--        </exclusion>-->
<!--        <exclusion>-->
<!--          <artifactId>protobuf-java</artifactId>-->
<!--          <groupId>com.google.protobuf</groupId>-->
<!--        </exclusion>-->
<!--      </exclusions>-->
<!--      &lt;!&ndash;      <scope>provided</scope>&ndash;&gt;-->
<!--    </dependency>-->
<!--  </dependencies>-->


  <dependencies>
    <dependency>
        <groupId>commons-cli</groupId>
        <artifactId>commons-cli</artifactId>
        <version>1.4</version>
    </dependency>
    <!-- Apache Flink dependencies -->
    <!-- These dependencies are provided, because they should not be packaged into the JAR file. -->
<!--    <dependency>-->
<!--      <groupId>org.apache.flink</groupId>-->
<!--      <artifactId>flink-scala_2.11</artifactId>-->
<!--      <version>${flink.version}</version>-->
<!--      <scope>provided</scope>-->
<!--    </dependency>-->
    <dependency>
      <groupId>org.apache.flink</groupId>
      <artifactId>flink-streaming-scala_${scala.version}</artifactId>
      <version>${flink.version}</version>
<!--      <scope>provided</scope>-->
    </dependency>
    <dependency>
      <groupId>org.apache.flink</groupId>
<!--      <artifactId>flink-table-api-java-bridge_2.11</artifactId>-->
      <artifactId>flink-table-api-scala-bridge_2.11</artifactId>
      <version>${flink.version}</version>
<!--      <scope>provided</scope>-->
    </dependency>
    <dependency>
      <groupId>org.apache.flink</groupId>
      <artifactId>flink-table-api-java-bridge_2.11</artifactId>
<!--      <artifactId>flink-table-api-scala-bridge_2.11</artifactId>-->
      <version>${flink.version}</version>
<!--      <scope>provided</scope>-->
    </dependency>

<!--    <dependency>-->
<!--      <groupId>org.apache.flink</groupId>-->
<!--      <artifactId>flink-streaming-scala_${scala.version}</artifactId>-->
<!--      <version>${flink.version}</version>-->
<!--      <scope>provided</scope>-->
<!--    </dependency>-->

    <dependency>
      <groupId>org.apache.flink</groupId>
      <artifactId>flink-clients_${scala.version}</artifactId>
      <version>${flink.version}</version>
<!--      <scope>provided</scope>-->
    </dependency>

    <!-- Flink SQL dependencies -->

<!--    <dependency>-->
<!--      <groupId>org.apache.flink</groupId>-->
<!--&lt;!&ndash;      <artifactId>flink-table-api-java-bridge_2.11</artifactId>&ndash;&gt;-->
<!--      <artifactId>flink-table-api-scala-bridge_2.11</artifactId>-->
<!--      <version>${flink.version}</version>-->
<!--      <scope>provided</scope>-->
<!--    </dependency>-->
<!--    <dependency>-->
<!--      <groupId>org.apache.flink</groupId>-->
<!--      <artifactId>flink-table-planner_${scala.version}</artifactId>-->
<!--      <version>${flink.version}</version>-->
<!--      <scope>provided</scope>-->
<!--      <exclusions>-->
<!--        <exclusion>-->
<!--          <artifactId>slf4j-api</artifactId>-->
<!--          <groupId>org.slf4j</groupId>-->
<!--        </exclusion>-->
<!--      </exclusions>-->
<!--    </dependency>-->
    <!-- https://mvnrepository.com/artifact/com.ibm/com.ibm.icu -->
    <!-- https://mvnrepository.com/artifact/com.ibm/com.ibm.icu -->
<!--    <dependency>-->
<!--      <groupId>com.ibm</groupId>-->
<!--      <artifactId>com.ibm.icu</artifactId>-->
<!--      <version>3.6.1.v20070906</version>-->
<!--    </dependency>-->


    <dependency>
      <groupId>org.apache.flink</groupId>
      <artifactId>flink-table-planner-blink_2.11</artifactId>
      <version>${flink.version}</version>
      <scope>provided</scope>
    </dependency>
    <!-- https://mvnrepository.com/artifact/org.apache.flink/flink-table-runtime-blink -->
    <dependency>
      <groupId>org.apache.flink</groupId>
      <artifactId>flink-table-runtime-blink_${scala.version}</artifactId>
      <version>${flink.version}</version>
      <scope>provided</scope>
    </dependency>


    <!--    <dependency>-->
<!--      <groupId>org.apache.flink</groupId>-->
<!--      <artifactId>flink-streaming-scala_2.11</artifactId>-->
<!--      <version>${flink.version}</version>-->
<!--      <scope>provided</scope>-->
<!--    </dependency>-->
    <!-- https://mvnrepository.com/artifact/org.apache.calcite/calcite-core -->


    <dependency>
      <groupId>org.apache.flink</groupId>
      <artifactId>flink-table-common</artifactId>
      <version>${flink.version}</version>
<!--      <scope>provided</scope>-->
    </dependency>
    <!-- Add connector dependencies here. They must be in the default scope (compile). -->


    <dependency>
      <groupId>org.apache.flink</groupId>
      <artifactId>flink-sql-connector-kafka_${scala.version}</artifactId>
      <version>${flink.version}</version>
    </dependency>

    <dependency>
      <groupId>org.apache.flink</groupId>
      <artifactId>flink-json</artifactId>
      <version>${flink.version}</version>
    </dependency>
    <dependency>
      <groupId>org.apache.flink</groupId>
      <artifactId>flink-connector-hive_2.11</artifactId>
      <version>${flink.version}</version>
      <!--             <scope>provided</scope>-->
    </dependency>

    <dependency>
      <groupId>org.apache.hive</groupId>
      <artifactId>hive-exec</artifactId>
      <version>${hive.version}</version>
<!--      <version>2.1.1-cdh6.1.1</version>-->
      <exclusions>
        <exclusion>
          <artifactId>calcite-avatica</artifactId>
          <groupId>org.apache.calcite</groupId>
        </exclusion>
        <exclusion>
          <artifactId>calcite-core</artifactId>
          <groupId>org.apache.calcite</groupId>
        </exclusion>
        <exclusion>
          <artifactId>calcite-linq4j</artifactId>
          <groupId>org.apache.calcite</groupId>
        </exclusion>
      </exclusions>
      <!--             <scope>provided</scope>-->
    </dependency>

    <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-client</artifactId>
      <version>${hadoop.version}</version>
      <scope>provided</scope>
    </dependency>
    <!--<dependency>-->
    <!--<groupId>org.apache.flink</groupId>-->
    <!--<artifactId>flink-shaded-hadoop-3</artifactId>-->
    <!--<version>3.1.1.7.1.1.0-565-9.0</version>-->
    <!--<scope>provided</scope> -->
    <!--</dependency>-->


    <dependency>
      <groupId>org.apache.flink</groupId>
      <artifactId>flink-parquet_2.11</artifactId>
      <version>${flink.version}</version>
    </dependency>

    <dependency>
      <groupId>org.apache.flink</groupId>
      <artifactId>flink-orc_2.11</artifactId>
      <version>${flink.version}</version>
    </dependency>

    <dependency>
      <groupId>org.apache.flink</groupId>
      <artifactId>flink-connector-kafka_${scala.version}</artifactId>
      <version>${flink.version}</version>
    </dependency>
    <dependency>
      <groupId>org.apache.flink</groupId>
      <artifactId>flink-connector-base</artifactId>
      <version>${flink.version}</version>
    </dependency>


    <!--    <dependency>-->
<!--      <groupId>org.apache.kafka</groupId>-->
<!--      <artifactId>kafka-clients</artifactId>-->
<!--      <version>1.0.1</version>-->
<!--    </dependency>-->
<!--    <dependency>-->
<!--      <groupId>org.projectlombok</groupId>-->
<!--      <artifactId>lombok</artifactId>-->
<!--      <version>1.16.18</version>-->
<!--    </dependency>-->


<!--     Add logging framework, to produce console output when running in the IDE.-->
<!--     These dependencies are excluded from the application JAR by default.-->
    <dependency>
      <groupId>org.apache.logging.log4j</groupId>
      <artifactId>log4j-slf4j-impl</artifactId>
      <version>${log4j.version}</version>
      <scope>runtime</scope>
    </dependency>
    <dependency>
      <groupId>org.apache.logging.log4j</groupId>
      <artifactId>log4j-api</artifactId>
      <version>${log4j.version}</version>
      <scope>runtime</scope>
    </dependency>
    <dependency>
      <groupId>org.apache.logging.log4j</groupId>
      <artifactId>log4j-core</artifactId>
      <version>${log4j.version}</version>
      <scope>runtime</scope>
    </dependency>

<!--    <dependency>-->
<!--      <groupId>com.alibaba</groupId>-->
<!--      <artifactId>fastjson</artifactId>-->
<!--      <version>1.2.72</version>-->
<!--    </dependency>-->
    <dependency>
      <groupId>mysql</groupId>
      <artifactId>mysql-connector-java</artifactId>
      <version>5.1.46</version>
    </dependency>
    <dependency>
      <groupId>org.apache.flink</groupId>
      <artifactId>flink-connector-jdbc_2.11</artifactId>
      <version>${flink.version}</version>
    </dependency>
    <!--<dependency>-->
    <!--<groupId>org.apache.flink</groupId>-->
    <!--<artifactId>flink-shaded-hadoop-2-uber</artifactId>-->
    <!--<version>${flink-shaded-hadoop.version}</version>-->
    <!--</dependency>-->
  </dependencies>

flink lib 文件

在这里插入图片描述

antlr-runtime-3.5.2.jar
com.ibm.icu-4.4.2.jar
commons-cli-1.4.jar
flink-connector-hive_2.11-1.13.1.jar
flink-connector-kafka_2.11-1.13.1.jar
flink-core-1.13.0.jar
flink-csv-1.13.1.jar
flink-dist_2.11-1.13.1.jar
flink-json-1.13.1.jar
flink-shaded-hadoop-2-uber-2.7.5-7.0.jar
flink-shaded-hadoop-2-uber-3.0.0-cdh6.3.0-7.0.jar
flink-shaded-zookeeper-3.4.14.jar
flink-sql-connector-hive-2.2.0_2.11-1.13.3.jar
flink-table-api-java-1.13.1.jar
flink-table-api-java-bridge_2.11-1.13.1.jar.0
flink-table-api-scala_2.11-1.13.1.jar.0
flink-table-planner_2.11-1.13.1.jar
flink-table-planner-blink_2.11-1.13.1.jar
flink-table-runtime-blink_2.11-1.13.1.jar
jindo-flink-sink-3.6.1.jar
jindofs-sdk-3.6.1.jar
log4j-1.2-api-2.12.1.jar
log4j-api-2.12.1.jar
log4j-core-2.12.1.jar
log4j-slf4j-impl-2.12.1.jar

Demo

package com.gwm.core.kafka

import org.apache.flink.api.scala._
import org.apache.flink.table.api._
import org.apache.flink.table.api.bridge.scala._
import com.gwm.utils.log.Logging
import org.apache.flink.streaming.api.CheckpointingMode
import org.apache.flink.streaming.api.scala.StreamExecutionEnvironment
import org.apache.flink.table.api.{EnvironmentSettings, SqlDialect}
import org.apache.flink.table.api.bridge.scala.StreamTableEnvironment
import org.apache.flink.table.catalog.hive.HiveCatalog

/**
 * @Author: 
 * @Description: sth todo
 */
object TestFlinkKafka extends Logging{
  def main(args: Array[String]): Unit = {
    val env = StreamExecutionEnvironment.getExecutionEnvironment

    //checkpoint
    env.enableCheckpointing(1000 * 60,CheckpointingMode.EXACTLY_ONCE)
    env.getCheckpointConfig.setCheckpointStorage("hdfs://test/checkpoint/")

//    val env = StreamExecutionEnvironment.getExecutionEnvironment.enableCheckpointing(5 * 60 * 1000)
//    val checkpointConfig = env.getCheckpointConfigcheckpointConfig.setMinPauseBetweenCheckpoints(2 * 60 * 1000)
//    checkpointConfig.setCheckpointTimeout(3 * 60 * 1000)checkpointConfig.enableExternalizedCheckpoints(ExternalizedCheckpointCleanup.RETAIN_ON_CANCELLATION)
//

    val settings = EnvironmentSettings.newInstance().useBlinkPlanner().build()
    //stream table env
    val tableEnv = StreamTableEnvironment.create(env, settings)

    //hive cataLog
    val hiveCatalogName: String = "kafka_hc"
    val defaultDatabasesName: String = "test"
    val hiveConfDir: String = "/alidata1/tmp/hivecf/"

    val cataLog: HiveCatalog = new HiveCatalog(hiveCatalogName, defaultDatabasesName, hiveConfDir)
    tableEnv.registerCatalog("kafka_hc", cataLog)

    tableEnv.useCatalog(hiveCatalogName)

    //获取kafka 流
    tableEnv.getConfig.setSqlDialect(SqlDialect.DEFAULT)
    tableEnv.executeSql("drop table if exists KafkaSourceTable")

    //ts as to_timestamp(from_unixtime(tid/1000, 'yy-MM-dd HH:mm:ss'))

    val createTableSql: String =
      """
        |create table KafkaSourceTable(
        | vin String,
        | tid String,
        | source String,
        | datas String,
        | ts as substr(concat('20',tid),1,8 )
        | ) WITH (
        | 'connector' = 'kafka',
        | 'topic' = 'topic_c',
        | 'properties.bootstrap.servers' = 'ip:9092,ip2:9092,ip3:9092',
        | 'properties.group.id' = 'flink-test-group',
        | 'format' = 'json',
        | 'scan.startup.mode' = 'earliest-offset',
        | 'json.ignore-parse-errors' = 'true',
        | 'scan.startup.mode' = 'group-offsets'
        |)
        """.stripMargin

    /**
     * 'key.format' = 'json',
     * 'key.json.ignore-parse-errors' = 'true',
     * 'key.fields' = 'vin;tid;source;source',
     * 'value.format' = 'json',
     * 'value.json.fail-on-missing-field' = 'false',
     * 'value.fields-include' = 'ALL'
     */
    log.info(s"createTableSql: $createTableSql")
    tableEnv.executeSql(createTableSql)




//    //hvie cataLog
    tableEnv.useCatalog("kafka_hc")
    tableEnv.getConfig.setSqlDialect(SqlDialect.HIVE)
    tableEnv.useDatabase("test")

//    val dropSql = ""

    val hiveSql: String =
      """
        |create table if not exists HiveSinkTable(
        | vin String,
        | tid String,
        | source String,
        | datas String )
        |  partitioned by (`date` String)
        | row format delimited fields terminated by '\t'
        |stored as orc
        |tblproperties (
        | 'orc.compress'='SNAPPY',
        | 'partition.time-extractor.timestamp-pattern' = '$date 00:00:00',
        | 'sink.partition-commit.trigger' = 'process-time',
        | 'sink.partition-commit.policy.kind' = 'metastore,success-file'
        |)
        |""".stripMargin

    tableEnv.executeSql(hiveSql)


    //切换方言
    tableEnv.getConfig.setSqlDialect(SqlDialect.DEFAULT)

    val insertSql: String =
      """
        |insert into HiveSinkTable
        |select vin, tid, source, datas, from_unixtime(unix_timestamp(ts,'yyyyMMdd'),'yyyy-MM-dd') as `date`
        |from KafkaSourceTable
        |""".stripMargin
    //select vin, tid, sources, datas, date_format(ts, 'yyyy-MM-dd') as `date`
    log.info(s"insertSql: $insertSql")

    tableEnv.executeSql(insertSql)




//    env.execute("kafka to hive")

  }
}

Hive

在这里插入图片描述
在这里插入图片描述
tid 上传时间不标准，所以分区不准确。
在这里插入图片描述

Jhon_yh
关注
专栏目录
Flink实战（八十）：flink-sql使用（七）Flink SQL Clien读取Kafka数据流式写入Hive（用hive 管理kafka元数据）
微信搜：import_bigdata，大数据领域硬核原创作者
01-23 634
声明：本系列博客是根据SGG的视频整理而成，非常适合大家入门学习。 《2021年最新版大数据面试题全面开启更新》 版本说明： Flink 1.11.2 Kafka 2.4.0 Hive3.1.2 Hadoop 3.1.3 1 hive 安装hive，使用mysql做为元数据存储 1.2 hive-site.xml 配置 （版本3.1.2） <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href=..
FlinkSQL Kafka to Hive
L, there!
10-22 2225
import java.time.Duration import com.sm.common.conf.PropManager import com.sm.constants.Constants import com.sm.utils.FlinkUtils import org.apache.flink.streaming.api.{CheckpointingMode, TimeCharacteristic} import org.apache.flink.streaming.api.environme.
streamX 平台 采用flink sql 读取 kafka 的数据写入 hive
zuixue_lei的博客
05-13 1987
组件：streamX、flink 1.12、hive 2.x 一、查询 flink 官网，找寻写hive 的信息。 Apache Flink 1.12 Documentation: Hive 信息找寻步骤： 1、先找到 flink 连接外部信息的目录。 2、因为我们是要采用 flink sql 的方式，所以要看 table&sql。 3、找到 hive。 4、先看概览。 在 “概览” 中，有连接 hive 的信息：...
Flink教程--flink 1.11 使用sql将流式数据写入hive
热门推荐
公众号[大数据技术与应用实战]，分享大数据实战案例
07-08 1万+
flink 1.11 支持用户直接使用sql将流式数据写入hive，并且可以自动的创建和刷新hive的分区，支持的数据格式包括json、csv、parquet、csv。 底层是使用了写入文件系统的功能，所以具体的配置可以参考写入文件系统的配置。
1.30.Flink SQL案例将Kafka数据写入hive
涂作权的博客
07-05 3022
1.30.Flink SQL案例将Kafka数据写入hive 1.30.1.1.场景，环境，配置准备 1.30.1.2.案例代码 1.30.1.2.1.编写pom.xml文件 1.30.1.2.2.Maven工程resources下编写配置文件log4j2.properties 1.30.1.2.3.Maven工程resources下编写配置文件logback.xml 1.30.1.2.4.Maven工程resources下编写配置文件project-config-test.properties 1.30.
通过Flink-Sql将Kafka数据写入HDFS
IT_xhf的专栏
04-06 4913
系列文章目录 提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加 例如：第一章 Python 机器学习入门之pandas的使用 提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录系列文章目录前言一、创建Hive Catalog二、创建表1.创建Kafka表2.创建Hive表3. 执行同步语句总结参考资料 前言 近期，公司有需求将Kafka的数据写入到Hive表中，当时看到Flink有一个File Connector可以将文件写入到HDFS,所以开始了解Flink-
FLINK 1.12.2 读取KAFKA写入HIVE的完整示例
arwenlin的博客
05-21 3754
本文只提供FLINK 1.12.2 读取KAFKA写入HIVE的完整示例，具体说明可以参考《FLINK 1.12.2 流式写入HDFS（hive）的几种方式》和《FLINK 1.12.2 读取KAFKA的2种方式》。 目录 1依赖 2代码 3发布集群 3.1打包后上传到集群执行 3.2IDE远程发布集群执行 1依赖 <dependencies> <dependency> <groupId>com.fasterxml.jackson.core</
flink1.13 读取kafka写入hive
qq_36770189的博客
12-09 2425
代码如下所示： public class KafkaToHive { public static void main(String[] args) { StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); //1.12以后默认都是EventTime,这是过期方法,并且不在提IngestionTime //env.setStreamTi
flink sql kafka写数据到hive
weixin_41197407的博客
05-27 2532
step1:flink连接hive配置 首先确保启动hive metastore远程服务 flink安装目录下新建文件夹hive-conf,然后vi hive-site.xml，配置hive仓库地址和metastore远程服务连接地址。（此配置为了在flink集群中启动hive客户端来远程访问hive metastore服务）具体如下： 新建hive-conf文件夹： hive-site.xml配置 <configuration> <property> <nam
flink-sql读写hive-1.13
第一片心意的博客
08-02 6884
本文按照 flink 1.13 官网中的读写 hive 内容翻译整理，内容十分全面。
Flink实战之Kafka To Hive
weixin_41608066的博客
11-24 1920
背景 传统的入库任务一般借助于MapReduce或者Spark来写hive表，一般都是天级别最多小时级别的任务。随着实时性要求越来越高，传统的入库不太能满足需求。Flink完全基于流式处理，同时也支持了写Hive表。本文介绍一下如果通过FlinkSQL实现kafka数据入库hive，并能够实时可查。 Hive Catalog 由于写hive表必须基于hive catalog，所以需要注册hive catalog。同时可以在一个job内切换catalog，如果我们不想把kafka的source table注册
FlinkSQL消费Kafka写入Hive表
qq_32068809的博客
10-13 7555
flinkSQL消费kafka实时写入hive表
pyflink实时接收kafka数据至hive
WangYouJin321的博客
01-25 1889
#!/usr/bin/python # -*- coding: UTF-8 -*- from pyflink.dataset import ExecutionEnvironment from pyflink.table import TableConfig, DataTypes, BatchTableEnvironment, EnvironmentSettings,StreamTableEnvironment from pyflink.table.catalog import HiveCatalog.
Flink 版本数据湖(hudi)实时数仓---flinkcdc hudi kafak hive
wudonglianga的专栏
02-20 8007
1.架构图 2.实现实例 2.1 通过flink cdc 的两张表 合并 成一张视图， 同时写入到数据湖(hudi) 中 同时写入到kafka 中 2.2 实现思路 1.在flinksql 中创建flink cdc 表 2.创建视图(用两张表关联后需要的列的结果显示为一张速度) 3.创建输出表，关联Hudi表，并且自动同步到Hive表 4.查询视图数据，插入到输出表 -- flink 后台实时执行 2.3pom 文件需要的类 <?xml version="1.0" encoding="UTF
hive java streaming_利用SparkSQL(java版)将离线数据或实时流数据写入hive的用法及坑点...
weixin_42410443的博客
02-23 404
1. 通常利用SparkSQL将离线或实时流数据的SparkRDD数据写入Hive,一般有两种方法。第一种是利用org.apache.spark.sql.types.StructType和org.apache.spark.sql.types.DataTypes来映射拆分RDD的值；第二种方法是利用rdd和Java bean来反射的机制。下面对两种方法做代码举例2. 利用org.apache.spa...
flinkSql 写入 hive 问题
ChengYanan的博客
07-07 3973
来源于flink社区 问题描述 咨询一个flink问题。flinsql，能写入数据到hive表。但是hive表中的数据，都是基于 ".part，，，，inprogress，，，，"类似的文件。 flink1.12.0 是基于cdh6.2.0编译的，hive版本是2.1.1、hadoop-3.0.0. 问题截图如下： 创建hive表： SET table.sql-dialect=hive; CREATE TABLE hive_table ( user_id STRING, order_amoun.
flink1.13读kafka写入hive
qq_36062467的博客
07-29 3478
flink1.13读kafka写入hive 第一次写博客，flink自学了一下，网上查找案例，群里问大神，勉强把kafka写hive的流程走通了，在此记录一下，给后来者做个参考 ，其中有考虑不周或者错误的地方，请大家多多包涵和指正，嘻嘻。 代码 package cn.bywin import org.apache.flink.streaming.api.{CheckpointingMode, TimeCharacteristic} import org.apache.flink.streaming.api
Flink实战（七十八）：flink-sql使用（六）Flink 与 hive 结合使用（一）配置
微信搜：import_bigdata，大数据领域硬核原创作者
01-23 878
声明：本系列博客是根据SGG的视频整理而成，非常适合大家入门学习。 《2021年最新版大数据面试题全面开启更新》 1 hive 安装hive，使用mysql做为元数据存储 1.2 hive-site.xml 配置 （版本3.1.2） <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <pr.
flink1.13解决读取kafka数据写入hive中hive客户端查询不到数据问题
m0_37592814的博客
06-14 2584
flink1.13版本前可参考如下方式:https://blog.csdn.net/m0_37592814/article/details/108044830 flink1.1
scala写flink消费kafka后数据写入hive和doris
最新发布
05-25
首先，你需要在 Scala 代码中引入以下依赖： ```scala libraryDependencies += "org.apache.flink" %% "flink-scala" % flinkVersion libraryDependencies += "org.apache.flink" %% "flink-streaming-scala" % flinkVersion libraryDependencies += "org.apache.flink" %% "flink-connector-kafka" % flinkVersion libraryDependencies += "org.apache.flink" %% "flink-connector-hive" % flinkVersion libraryDependencies += "org.apache.flink" %% "flink-connector-jdbc" % flinkVersion ``` 然后，你可以使用以下代码来消费 Kafka 数据： ```scala import org.apache.flink.streaming.api.scala._ import org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumer val env = StreamExecutionEnvironment.getExecutionEnvironment val kafkaConsumer = new FlinkKafkaConsumer[String]("topic", new SimpleStringSchema(), properties) val stream = env.addSource(kafkaConsumer) // 对数据进行处理 val result = stream.map(...) ``` 其中，`properties` 是一个 `Properties` 对象，用于配置 Kafka 的连接信息。 接下来，你需要将处理后的数据写入到 Hive 和 Doris 中。可以使用以下代码： ```scala import org.apache.flink.table.api.bridge.scala._ import org.apache.flink.table.catalog.hive.HiveCatalog import org.apache.flink.streaming.api.scala.StreamTableEnvironment val tableEnv = StreamTableEnvironment.create(env) val hiveCatalog = new HiveCatalog("myHiveCatalog", "myDatabase", "/path/to/hive/conf", "2.3.4") tableEnv.registerCatalog("myHiveCatalog", hiveCatalog) tableEnv.useCatalog("myHiveCatalog") tableEnv.executeSql("CREATE TABLE myHiveTable (...) WITH (...)") result.toTable(tableEnv, "myResultTable") tableEnv.executeSql("INSERT INTO myHiveTable SELECT * FROM myResultTable") val jdbcUrl = "jdbc:mysql://localhost:3306/my_database" tableEnv.executeSql(s"CREATE TABLE myDorisTable (...) WITH (...)") tableEnv.executeSql(s"INSERT INTO myDorisTable SELECT * FROM myResultTable") ``` 其中，`myHiveCatalog` 是 Hive 的 Catalog 名称，`myDatabase` 是 Hive 中的数据库名称，`/path/to/hive/conf` 是 Hive 的配置文件所在路径，`2.3.4` 是 Hive 的版本号。 `myHiveTable` 和 `myDorisTable` 是你要写入数据的表名，`(...)` 是表的列定义和其他属性，`myResultTable` 是处理后的数据表名。 `jdbcUrl` 是 Doris 数据库的连接信息，你需要根据实际情况进行修改。 你需要将上述代码中的 `...` 替换为实际的处理逻辑和表定义。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值