使用FlinkCatalog将kafka的数据写入hive

最新推荐文章于 2024-05-16 16:17:18 发布
最新推荐文章于 2024-05-16 16:17:18 发布
阅读量915 收藏
点赞数
分类专栏： Flink 文章标签： kafka hive 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40382400/article/details/133861670
版权 
package com.atguigu.flink.test_hk;

import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.table.api.EnvironmentSettings;
import org.apache.flink.table.api.SqlDialect;
import org.apache.flink.table.api.TableEnvironment;
import org.apache.flink.table.api.bridge.java.StreamTableEnvironment;
import org.apache.flink.table.catalog.hive.HiveCatalog;

public class KafkaToHive3 {

    public static void main(String[] args) {

        System.setProperty("HADOOP_USER_NAME", "atguigu");

        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        StreamTableEnvironment tableEnv = StreamTableEnvironment.create(env);
        env.setParallelism(1);

        env.enableCheckpointing(6000);

// to use hive dialect
        tableEnv.getConfig().setSqlDialect(SqlDialect.HIVE);

        // 注册Hive Catalog
        HiveCatalog hiveCatalog = new HiveCatalog("hive", "default", "conf");
        tableEnv.registerCatalog("hive", hiveCatalog);

// 使用默认的Flink catalog创建Kafka表
        tableEnv.useCatalog("hive");

// to use default dialect
//        tableEnv.getConfig().setSqlDialect(SqlDialect.DEFAULT);

        String hivesql = "CREATE TABLE  IF NOT EXISTS hive_table7 (\n" +
                "  id int\n" +
                ") ";

        tableEnv.executeSql(hivesql);



//        tableEnv.sqlQuery("select * from hive_table7  ").execute().print();

        // 使用默认的Flink catalog创建Kafka表
        tableEnv.getConfig().setSqlDialect(SqlDialect.DEFAULT);
        tableEnv.useCatalog("default_catalog");

        String readSql = " create table t2 (" +
                " id int  " +
                ") WITH (" +
                " 'connector' = 'kafka', " +
                " 'topic' = 'topicA', " +
                " 'properties.bootstrap.servers' = 'hadoop102:9092', " +
                " 'properties.group.id' = 'flin_"+System.currentTimeMillis()+"', " +
                " 'scan.startup.mode' = 'latest-offset', " +
                " 'value.format' = 'csv' " +
                ")" ;
        tableEnv.executeSql(readSql);

//        tableEnv.sqlQuery("select * from t2  ").execute().print();

        tableEnv.getConfig().setSqlDialect(SqlDialect.HIVE);
        tableEnv.useCatalog("hive");

        tableEnv.executeSql("INSERT INTO hive_table7 select id from default_catalog.default_database.t2");


    }

}

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <parent>
        <artifactId>BigData230201</artifactId>
        <groupId>com.atguigu</groupId>
        <version>1.0-SNAPSHOT</version>
    </parent>
    <modelVersion>4.0.0</modelVersion>

    <artifactId>Flink</artifactId>

    <properties>
        <maven.compiler.source>8</maven.compiler.source>
        <maven.compiler.target>8</maven.compiler.target>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
        <flink.version>1.17.0</flink.version>
        <scala.version>2.12</scala.version>
    </properties>

    <!--
      依赖范围:
        1. compile(默认的) :  主程序和测试程序都可以用。  打包时会包含在内。
        2. test           :  测试程序可用。打包时会排除掉。
        3. provided       :  主程序和测试程序都可以用。 打包时会排除掉
                             只在编译期生效， 运行时不可用。

    -->


    <dependencies>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-streaming-java</artifactId>
            <version>${flink.version}</version>
            <scope>provided</scope>
        </dependency>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-clients</artifactId>
            <version>${flink.version}</version>
            <scope>provided</scope>
        </dependency>
        <dependency>
            <groupId>org.slf4j</groupId>
            <artifactId>slf4j-log4j12</artifactId>
            <version>1.7.25</version>
            <scope>provided</scope>
        </dependency>

        <!-- lombok -->
        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
            <version>1.18.26</version>
        </dependency>

        <!-- WEB UI -->
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-runtime-web</artifactId>
            <version>${flink.version}</version>
            <scope>provided</scope>
        </dependency>

        <!-- DataGen connector-->
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-datagen</artifactId>
            <version>${flink.version}</version>
            <scope>provided</scope>
        </dependency>


        <!-- file connector -->
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-files</artifactId>
            <version>${flink.version}</version>
            <scope>provided</scope>
        </dependency>

        <!-- hadoop client -->
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>3.3.4</version>
            <scope>provided</scope>
        </dependency>

        <!-- kafka connector -->
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-kafka</artifactId>
            <version>${flink.version}</version>
            <scope>provided</scope>
        </dependency>

        <!-- fastJson -->
        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>fastjson</artifactId>
            <version>1.2.83</version>
            <scope>provided</scope>
        </dependency>

        <!-- jdbc connector -->
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-jdbc</artifactId>
            <version>3.1.0-1.17</version>
            <scope>provided</scope>
        </dependency>

        <!-- mysql connector -->
        <dependency>
            <groupId>com.mysql</groupId>
            <artifactId>mysql-connector-j</artifactId>
            <version>8.0.32</version>
            <scope>provided</scope>
        </dependency>

        <!-- RocksDB stateBackend -->
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-statebackend-rocksdb</artifactId>
            <version>${flink.version}</version>
            <scope>provided</scope>
        </dependency>

        <!-- changelog -->
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-statebackend-changelog</artifactId>
            <version>${flink.version}</version>
            <scope>provided</scope>
        </dependency>

        <!-- flink SQL -->
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-table-api-java-uber</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-table-runtime</artifactId>
            <version>${flink.version}</version>
        </dependency>


<!--        <dependency>-->
<!--            <groupId>org.apache.flink</groupId>-->
<!--            <artifactId>flink-table-planner-loader</artifactId>-->
<!--            <version>${flink.version}</version>-->
<!--        </dependency>-->


        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-table-planner_${scala.version}</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <!-- Flink-csv -->
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-csv</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <!-- Flink-json -->
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-json</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <!-- hive connector -->
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-hive_2.12</artifactId>
            <version>${flink.version}</version>
            <scope>provided</scope>
        </dependency>

        <dependency>
            <groupId>org.apache.hive</groupId>
            <artifactId>hive-exec</artifactId>
            <version>3.1.3</version>
            <scope>provided</scope>
        </dependency>






    </dependencies>

    <build>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-shade-plugin</artifactId>
                <version>3.2.4</version>
                <executions>
                    <execution>
                        <phase>package</phase>
                        <goals>
                            <goal>shade</goal>
                        </goals>
                        <configuration>
                            <artifactSet>
                                <excludes>
                                    <exclude>com.google.code.findbugs:jsr305</exclude>
                                    <exclude>org.slf4j:*</exclude>
                                    <exclude>log4j:*</exclude>
                                </excludes>
                            </artifactSet>
                            <filters>
                                <filter>
                                    <!-- Do not copy the signatures in the META-INF folder.
                                    Otherwise, this might cause SecurityExceptions when using the JAR. -->
                                    <artifact>*:*</artifact>
                                    <excludes>
                                        <exclude>META-INF/*.SF</exclude>
                                        <exclude>META-INF/*.DSA</exclude>
                                        <exclude>META-INF/*.RSA</exclude>
                                    </excludes>
                                </filter>
                            </filters>
                            <transformers combine.children="append">
                                <transformer
                                        implementation="org.apache.maven.plugins.shade.resource.ServicesResourceTransformer">
                                </transformer>
                            </transformers>
                        </configuration>
                    </execution>
                </executions>
            </plugin>
        </plugins>
    </build>




</project>

hive-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <!--配置Hive保存元数据信息所需的 MySQL URL地址-->
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://hadoop102:3306/metastore?useSSL=false&amp;useUnicode=true&amp;characterEncoding=UTF-8&amp;allowPublicKeyRetrieval=true</value>
    </property>

    <!--配置Hive连接MySQL的驱动全类名-->
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.cj.jdbc.Driver</value>
    </property>

    <!--配置Hive连接MySQL的用户名 -->
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>

    <!--配置Hive连接MySQL的密码 -->
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>000000</value>
    </property>

    <property>
        <name>hive.metastore.warehouse.dir</name>
        <value>/user/hive/warehouse</value>
    </property>

    <property>
        <name>hive.metastore.schema.verification</name>
        <value>false</value>
    </property>

    <property>
    <name>hive.server2.thrift.port</name>
    <value>10000</value>
    </property>

    <property>
        <name>hive.server2.thrift.bind.host</name>
        <value>hadoop102</value>
    </property>

    <property>
        <name>hive.metastore.event.db.notification.api.auth</name>
        <value>false</value>
    </property>
    
    <property>
        <name>hive.cli.print.header</name>
        <value>true</value>
    </property>

    <property>
        <name>hive.cli.print.current.db</name>
        <value>true</value>
    </property>
<!--Spark依赖位置（注意：端口号8020必须和namenode的端口号一致）-->
<property>
    <name>spark.yarn.jars</name>
    <value>hdfs://hadoop102:8020/spark-jars/*</value>
</property>
  
<!--Hive执行引擎-->
<property>
    <name>hive.execution.engine</name>
    <value>spark</value>
</property>

<property>
	<name>metastore.storage.schema.reader.impl</name>
	<value>org.apache.hadoop.hive.metastore.SerDeStorageSchemaReader</value>
</property>

<property>
    <name>hive.metastore.uris</name>
    <value>thrift://hadoop102:9083</value>
</property>



</configuration>

青云游子
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
DataFun发布《DataFun数据智能知识地图》
03-06
近日，国内专业大数据及人工智能开发者垂直社区DataFun发布《DataFun数据智能知识地图》，DataPipeline凭借深厚的产品技术实力及丰富实践入选，成为数据采集与治理领域典型代表企业。 该《数据智能知识地图》历时多月精心打磨，内容涵盖数据采集与治理、数据架构、数据能力、数据应用等四大领域、15大数据模块，拆解了数据流转全流程，凝结了DataFun通过千百场直播分享汇聚合成的数据智能专家的力量。DataPipeline的入选再次彰显了产品综合实力与用户价值。
2022-2023数据智能知识地图
11-28
DataFun数据智能知识地图 2022数据智能知识地图.pdf 2023数据智能知识地图.pdf
2022数据智能知识地图，完整数据中台架构与全貌
01-17
2022数据智能知识地图，完整数据中台架构与全貌，带你认识最全的数据中台组织架构、数据治理、数据安全、数据平台、风控、ABTEST、个性化推荐、计算广告、大数据基础技术栈等，非常详细。 2022数据智能知识地图，完整数据中台架构与全貌，带你认识最全的数据中台组织架构、数据治理、数据安全、数据平台、风控、ABTEST、个性化推荐、计算广告、大数据基础技术栈等，非常详细。 2022数据智能知识地图，完整数据中台架构与全貌，带你认识最全的数据中台组织架构、数据治理、数据安全、数据平台、风控、ABTEST、个性化推荐、计算广告、大数据基础技术栈等，非常详细。 2022数据智能知识地图，完整数据中台架构与全貌，带你认识最全的数据中台组织架构、数据治理、数据安全、数据平台、风控、ABTEST、个性化推荐、计算广告、大数据基础技术栈等，非常详细。
2022数据智能知识地图（完整版）.pdf
05-03
2022数据智能知识地图，详细版。
Flink-读Kafka写Hive表
ZacksTang的博客
08-29 636
1. 目标 使用Flink读取Kafka数据并实时写入Hive表。 2. 环境配置 EMR环境：Hadoop 3.3.3, Hive 3.1.3, Flink 1.16.0 根据官网描述： https://nightlies.apache.org/flink/flink-docs-release-1.16/docs/connectors/table/hive/overview/ 当前Flink ...
flink 1.9 sql-client 连接hive catalog配置
h335146502的专栏
09-10 6830
一，下载flink 1.9 或编译flink 1.9 下载地址：https://www.apache.org/dyn/closer.lua/flink/flink-1.9.0/flink-1.9.0-bin-scala_2.11.tgz flink 1.9 编译或特殊版本编译（如cdh ，Hortonworks等）参考另一篇文章 https://blog.csdn.net/h33514650...
demo-flink1.11.2实现数据写入hive
xinji
03-10 724
环境准备 1. hadoop 集群的开启,hive metastore 服务开启 2. flink-conf.yaml, sql-client-defaults.yaml 配置 注意: 必须开启checkpoint ,flink 才可提交分区操作 3. flink 集群的开启 启动：yarn-session.sh -n 3 -s 3 -nm flink-session -d 关闭：yarn application -kill applicationId 4. KafKa集群开启.
Scala代码积累之spark streaming kafka 数据存入到hive源码实例
03-01
Scala代码积累之spark streaming kafka 数据存入到hive源码实例，Scala代码积累之spark streaming kafka 数据存入到hive源码实例。
HiveKa:Kafka 作为 Hive 存储
07-13
HiveKa 是 Apache Hive 的存储处理程序，它在 Apache Hive 中添加了从 Apache Kafka 查询数据的支持。 这为 Kafka 用户提供了一个机会来检查 Kafka 摄取的数据，而无需编写复杂的 Kafka 消费者。 Hive 使跨各种数据...
kafka读取写入数据
08-24
kafka读取写入数据
flink采集文本数据写入ES，flink消费kafka数据写入ES,以及一些flink相关的demo
06-26
代码主要包含：flink采集文本数据写入ES，flink消费kafka数据写入ES,以及一些flink相关数据流相关的数据采集demo，附带有demo的技术文档，文档主要介绍了如何编译jar包，在flink的管理页面如何提交任务。 1、技术...
Flink Kafka数据批量写入到数据库
03-06
Flink Kafka数据批量写入到数据库
Flink SQL使用Catalog消费Kafka时，多个Source读取同一主题解决方案
司马班如
10-14 1860
当我们在Flink使用Catalog的时候，如何启用不同groupId的消费着消费Kafka数据呢，本文带你详细了解，Catalog 提供了元数据信息，例如数据库、表、分区、视图以及数据库或其他外部系统中存储的函数和信息。数据处理最关键的方面之一是管理元数据。 元数据可以是临时的，例如临时表、或者通过 TableEnvironment 注册的 UDF。 元数据也可以是持久化的
Flink SQL 以catalog方式写入HIVE
lvwenyuan_1的博客
03-12 2598
Flink 可以通过连接hive catalog的形式向hive写入数据。 重点！！ hive 必须有以下属性： 'transactional' = 'false' 'sink.partition-commit.policy.kind'='metastore,success-file' 下面是案例 package com.kkb.flink.stream; import com.kkb.flink.stream.util.FlinkUtils; import com.kkb.flink.s
flink报错踩坑：org.apache.flink.table.catalog.hive.client.HiveShimV100.registerTemporaryFunction
Chenftli的博客
06-11 2499
当想使用本地开发环境运行flink读写线上hive数据来运行时报错。我使用maven管理的开发环境依赖。由于代码发布到测试环境集群上跑时并没有报错，而测试环境对应的依赖都是使用放在上面的依赖jar的，并不使用本地maven管理的依赖（也就是没有打入项目jar）。所以我猜测是本地运行环境依赖有问题，也就是项目中maven的pom文件的依赖有问题。在多次检查该项目中maven的pom文件导入的依赖和反复查看flink Table API Connector针对hive的官方文档后终于解决了问题。下面是我处理问题
Flink Catalogs 如何玩转元数据中心？
penriver的博客
10-08 1375
产生背景 在flink 1.11.0 之前，用户如果依赖 Flink 的 source/sink 读写关系型数据库表或者读取 changelog 时，必须要手动创建对应的 schema。但是这样会有一个问题，当数据库中的 schema 发生变化时，也需要手动更新对应的 Flink 任务以保持类型匹配，任何不匹配都会造成运行时报错使作业失败。 操作冗余且繁琐，体验极差。 实际上对于任何和 Flink 连接的外部系统都可能有类似的上述问题！ 1.11.0 版本后，用户使用 Flink SQL 时可以自动获取表的
Flink HiveCatalog使用
weibokong789的博客
05-29 7488
Flink采用HiveCatalog作为表元数据持久化的介质。对于同时部署了Hive和Flink的公司来说，可以方便管理元数据，而对于只部署了Flink的公司来说，HiveCatalog也是Flink唯一支持的元数据持久化的介质。不将元数据持久化的时候，开发过程中的每个地方都需要使用DDL重新将Kafka等数据源的数据注册到临时的Catalog中，浪费了很多精力和时间。 HiveCatalog可用于处理两种类型的表：Hive兼容表和通用表。 就存储层中的元数据和数据而言，兼容Hive的表是以兼容Hive的
Flink自定义catalog管理元数据信息
qq_41463207的博客
04-14 4895
test
Offset Explorer SASL/PLAIN和SASL/SCRAM方式连接kafka
最新发布
佛陀爱老虎的博客
05-16 212
SASL/PLAIN SASL/SCRAM
flink消费kafka数据后 再写入hive
05-15
可以通过Flink的Hive Sink将消费的Kafka数据写入Hive中。具体步骤如下： 1. 在Flink中创建Kafka数据源，并使用Flink的DataStream API将数据转换为需要写入Hive的格式。 2. 使用Flink的Hive Sink将数据写入Hive中。Hive Sink需要配置Hive JDBC连接信息和表结构信息。 下面是一个示例代码，可以根据实际情况进行修改： ```java // 创建Flink的执行环境 StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); // 创建Kafka数据源 Properties props = new Properties(); props.setProperty("bootstrap.servers", "localhost:9092"); props.setProperty("group.id", "test-group"); FlinkKafkaConsumer<String> consumer = new FlinkKafkaConsumer<>("test-topic", new SimpleStringSchema(), props); // 读取Kafka数据 DataStream<String> stream = env.addSource(consumer); // 转换数据格式 DataStream<Tuple2<String, Integer>> data = stream.flatMap(new FlatMapFunction<String, Tuple2<String, Integer>>() { @Override public void flatMap(String s, Collector<Tuple2<String, Integer>> collector) throws Exception { // 根据实际情况进行数据转换 String[] parts = s.split(","); collector.collect(new Tuple2<>(parts[0], Integer.parseInt(parts[1]))); } }); // 配置Hive Sink HiveConf hiveConf = new HiveConf(); hiveConf.addResource(new Path("/path/to/hive-site.xml")); HiveCatalog hiveCatalog = new HiveCatalog("myHiveCatalog", "default", hiveConf); env.registerCatalog("myHiveCatalog", hiveCatalog); env.useCatalog("myHiveCatalog"); HiveTableSink hiveTableSink = new HiveTableSink.Builder() .setPartitions(Collections.singletonList("dt='20220101'")) .setTable(new ObjectPath("default", "test")) .setHiveConf(hiveConf) .setOverwrite(true) .setStaticPartitionInsert(false) .build(); // 写入Hive data.addSink(hiveTableSink); // 执行任务 env.execute("Kafka to Hive"); ``` 需要注意的是，在执行程序前需要先创建好Hive表，并且表的结构要与代码中配置的一致。另外，Hive Sink在写入数据时会自动创建分区，因此在写入数据前需要确保分区已经存在。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值