60-127-040-源码-connector-Flink 1.9.0 with Hive

最新推荐文章于 2022-02-13 22:52:53 发布
最新推荐文章于 2022-02-13 22:52:53 发布
阅读量670 收藏
点赞数
分类专栏： 大数据-flink
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/105155600
版权
大数据-flink 专栏收录该内容
839 篇文章 855 订阅 ¥99.90 ¥299.90
订阅专栏
本文介绍了Apache Flink 1.9.0版本开始支持与Hive的集成，包括元数据管理的增强和flink-connector-hive模块的新增。详细步骤涵盖了从安装Flink和Hive，配置依赖，到启动服务，以及通过Flink SQL Client和Table API进行Hive的使用，如列举catalog、查询表数据等。
摘要由CSDN通过智能技术生成

1.美图

在这里插入图片描述

2.概述

​ Apache Flink 从 1.9.0 版本开始增加了与Hive集成的功能，用户可以通过Flink来访问Hive的元数据，以及读写Hive中的表。

2.1 元数据

​ 原先Flink提供的 ExternalCatalog 定义非常不完整，基本不可用。提出了一套全新的 Catalog 接口来取代 ExternalCatalog 。新的 Catalog能够支持数据库、表、分区等多种元数据对象。
允许一个用户session中维护多个 Catalog 实例，从而访问多个外部系统。并且 Catalog 以可插拔的方式接入Flink，允许用户提供自定义实现。

2.2 表数据

新增了 flink-connector-hive 模块

3.Flink SQL Client中使用Hive

3.1 安装flink-1.9.0

了解本专栏 订阅专栏 解锁全文
九师兄
关注
专栏目录
订阅专栏
flink实战--flink面试题大全
阿华田的博客
12-30 1129
第一部分：Flink 中的核心概念和基础考察 一、 简单介绍一下 Flink Flink 是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。并且 Flink 提供了数据分布、容错机制以及资源管理等核心功能。 Flink提供了诸多高抽象层的API以便用户编写分布式任务： DataSet API， 对静态数据进行批处理操作，将静态数据抽象成分布式的数据集，用户可以方便地使用Fl...
Flink 1.9 读写Hive操作
热门推荐
qq_31866793的博客
08-23 1万+
官网地址： https://ci.apache.org/projects/flink/flink-docs-master/dev/table/hive/ 源码地址： https://github.com/apache/flink/blob/master/flink-connectors/flink-connector-hive/src/main/java/org/apache/flink/c...
FlinkSQL 整合 Hive
YYDS_emmm的博客
09-05 2302
FlinkSQL 整合 Hive 介绍 Flink 从 1.9 开始支持集成 Hive，不过 1.9 版本为 beta 版，不推荐在生产环境 中使用。 在 Flink1.10 版本中，标志着对 Blink 的整合宣告完成，对 Hive 的集成 也达到了生产级别的要求。 这里使用的 Flink 是 1.13.0，Hive 是 3.1.2。 Flink 与 Hive 的集成方式 Flink 与 Hive 的集成主要体现在以下两个方面: 1.持久化元数据 Flink 利 用 Hive 的 MetaStore 作
flink sql 知其所以然（十八）：在 flink 中还能使用 hive udf？附源码
qq_34608620的博客
02-13 1779
1.序篇 源码公众号后台回复1.13.2 sql hive udf获取。 废话不多说，咱们先直接上本文的目录和结论，小伙伴可以先看结论快速了解博主期望本文能给小伙伴们带来什么帮助： 背景及应用场景介绍：博主期望你能了解到，其实很多场景下实时数仓的建设都是随着离线数仓而建设的（相同的逻辑在实时数仓中重新实现一遍），因此能够在 flink sql 中复用 hive udf 是能够大大提高人效的。 flink 扩展支持 hive 内置 udf：flink sql 提供了扩展 udf 的能力，即 modul
Flink 1.10: Cannot find compatible factory for specified execution.target (=local)
xiaozhaoshigedasb的博客
04-09 2276
         flink1.10的一个本地Demo测试过程中出现的一个问题，很简单的一段Word Count问代码： package flink.io import org.apache.flink.api.scala.ExecutionEnvironment import org.apache.flink.api.scala._ objec...
Cannot find compatible factory for specified execution.target (=local)
Scnu_wang的博客
04-20 1522
目录背景描述错误信息解决方案 背景描述 本地运行Flink入门的word count项目，但是运行是报错，提示如下信息。 错误信息 SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder". SLF4J: Defaulting to no-operation (NOP) logger implementation SLF4J: ...
Flink1.9 最新版本编译-Hadoop2.8.3 [完整版]
aikfk的博客
10-11 3538
第一步：JDK环境准备 特别说明一下：官网要求Flink编译和使用的时候JDK版本必须是1.8以上，所以这里我们使用的额是1.8.0.221版本，建议大家JDK用1.8.0.191或者1.8.0.221以上的版本。不要用低于1.8.0.191的版本，低于1.8.0.191版本编译没有问题，但运行Flink程序的时候会出问题。JDK配置完之后，要检查一下，确保你的版本是OK的。 #JAV...
大数据面试题之葵花宝典------Flink中级
海鸥~
09-08 2096
葵花宝典------Flink中级1、Flink是如何支持批流一体的？2、Flink是如何做到高效的数据交换的？3、Flink是如何做容错的？4、Flink 分布式快照的原理是什么？5、Flink是如何保证Exactly-once语义的？6、Flink 的 kafka 连接器有什么特别的地方？7、说说 Flink的内存管理是如何做的?8、说说 Flink的序列化如何做的?9、Flink中的Window出现了数据倾斜，你有什么解决办法？10、Flink中在使用聚合函数 GroupBy、Distinct、Key
flink安装以及sql连接hive
Jatham_C的博客
02-16 1694
官网下载flink 根据官方文档进行安装 flink运行wordCount 代码在https://ci.apache.org/projects/flink/flink-docs-release-1.10/getting-started/tutorials/local_setup.html 官方教程 public static void main(String[] args) throws ...
flink系列--connector源码分析
wolflikeinnocence的博客
10-25 1453
1.概念 connector简单来说就是flink系统对接的外界数据源 2.支持的数据源类型 该截图来自于官网，可以看到官网并没有支持很多常见的数据源，而且支持的数据源不一定source和sink都支持，那这是为什么呢？ 如果你了解flink架构中taskmanager是如何进行数据交换的，那么这个问题也就不难理解，一般一个taskmanager会有两个网关（输入和输出），每一个taskmanager输入网关和上游的taskmanager的输出网关是通过netty进行交互的，有了一个buffer
Flink源码分析之深度解读流式数据写入hive
公众号[大数据技术与应用实战]，分享大数据实战案例
08-28 1507
其实我们可以想一下这个工作大概是什么流程，首先要写入hive，我们首先要从hive的元数据里拿到相关的hive表的信息，比如存储的路径是哪里，以便往那个目录写数据，还有存储的格式是什么，orc还是parquet，这样我们需要调用对应的实现类来进行写入，其次这个表是否是分区表，写入数据是动态分区还是静态分区，这些都会根据场景的不同而选择不同的写入策略。 写入数据的时候肯定不会把所有数据写入一个文件，那么文件的滚动策略是什么呢？写完了数据我们如何更新hive的元数据信息，以便我们可以及时读取到相应的数据呢？
flink连接到外部系统Kafka Connector API 代码报错问题org.apache.flink.table.factories.DeserializationSchemaFactory
cheyanming123的专栏
06-05 1万+
更多内容参考：https://ci.apache.org/projects/flink/flink-docs-release-1.7/dev/table/connect.html#kafka-connector package org.apache.flink.streaming.scala.examples.kafka import org.apache.flink.stream...
60-130-336-源码-source-kafka相关-Flink读取kafka
九师兄
07-04 724
1.美图 2.概述 ​ 在Flink中，我们分别用Source Connectors代表连接数据源的连接器，用Sink Connector代表连接数据输出的连接器。下面我们介绍一下Flink中用于读写kafka的source & sink connector。 3.Apache Kafka Source Connectors ​ Apache Kafka 是一个分布式的流平台，其核心是一...
【Flink】did not rea ct to cancelling signal for 30 seconds, but is stuck No implementation was bound
九师兄
07-03 2920
1.背景 我在Flink代码中写出如下代码,想在open的时候，做一个定时任务，主要是从数据库中加载一些配置 public class EnrichFunction<T1,R> extends ProcessFunction<T1,R> { public EnrichFunction() { } ScheduledExecutorService...
Flink1.10任务提交流程分析(一)
张普的专栏
06-05 1653
Flink任务常见的提交方式通过flink run命令方式提交，如果我们想自己通过API方式实现任务提交，那么就需要了解flink run执行过程，本篇主要透过源码分析其提交流程。(注：...
flink Cannot find compatible factory for specified execution.target (=local)
H.king的博客
05-14 392
初入 flink wordcount 报错如下 /Library/Java/JavaVirtualMachines/jdk1.8.0_201.jdk/Contents/Home/bin/java "-javaagent:/Applications/IntelliJ IDEA.app/Contents/lib/idea_rt.jar=56188:/Applications/IntelliJ IDEA.app/Contents/bin" -Dfile.encoding=UTF-8 -clas...
Flink实战（七十八）：flink-sql使用（六）Flink 与 hive 结合使用（一）配置
微信搜：import_bigdata，大数据领域硬核原创作者
01-23 878
声明：本系列博客是根据SGG的视频整理而成，非常适合大家入门学习。 《2021年最新版大数据面试题全面开启更新》 1 hive 安装hive，使用mysql做为元数据存储 1.2 hive-site.xml 配置 （版本3.1.2） <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <pr.
flink-sql-connector-hive和flink-connector-hive区别
最新发布
03-29
flink-sql-connector-hive和flink-connector-hive的区别在于它们的作用和使用方式： flink-sql-connector-hive是一个Flink SQL连接器，用于将Flink与Hive集成，可以在Flink SQL中使用Hive表进行数据处理。它提供了...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值