60-127-040-源码-connector-Flink 1.9.0 with Hive

最新推荐文章于 2022-02-13 22:52:53 发布
最新推荐文章于 2022-02-13 22:52:53 发布
阅读量688 收藏
点赞数
分类专栏： 大数据-flink
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/105155600
版权
大数据-flink 专栏收录该内容
854 篇文章 860 订阅 ¥99.90 ¥299.90
订阅专栏
本文介绍了Apache Flink 1.9.0版本开始支持与Hive的集成，包括元数据管理的增强和flink-connector-hive模块的新增。详细步骤涵盖了从安装Flink和Hive，配置依赖，到启动服务，以及通过Flink SQL Client和Table API进行Hive的使用，如列举catalog、查询表数据等。
摘要由CSDN通过智能技术生成

1.美图

在这里插入图片描述

2.概述

​ Apache Flink 从 1.9.0 版本开始增加了与Hive集成的功能，用户可以通过Flink来访问Hive的元数据，以及读写Hive中的表。

2.1 元数据

​ 原先Flink提供的 ExternalCatalog 定义非常不完整，基本不可用。提出了一套全新的 Catalog 接口来取代 ExternalCatalog 。新的 Catalog能够支持数据库、表、分区等多种元数据对象。
允许一个用户session中维护多个 Catalog 实例，从而访问多个外部系统。并且 Catalog 以可插拔的方式接入Flink，允许用户提供自定义实现。

2.2 表数据

新增了 flink-connector-hive 模块

3.Flink SQL Client中使用Hive

3.1 安装flink-1.9.0

了解本专栏 订阅专栏 解锁全文
九师兄
关注
专栏目录
订阅专栏
flink实战--flink面试题大全
阿华田的博客
12-30 1159
第一部分：Flink 中的核心概念和基础考察 一、 简单介绍一下 Flink Flink 是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。并且 Flink 提供了数据分布、容错机制以及资源管理等核心功能。 Flink提供了诸多高抽象层的API以便用户编写分布式任务： DataSet API， 对静态数据进行批处理操作，将静态数据抽象成分布式的数据集，用户可以方便地使用Fl...
大数据面试题之葵花宝典------Flink中级
海鸥~
09-08 2115
葵花宝典------Flink中级1、Flink是如何支持批流一体的？2、Flink是如何做到高效的数据交换的？3、Flink是如何做容错的？4、Flink 分布式快照的原理是什么？5、Flink是如何保证Exactly-once语义的？6、Flink 的 kafka 连接器有什么特别的地方？7、说说 Flink的内存管理是如何做的?8、说说 Flink的序列化如何做的?9、Flink中的Window出现了数据倾斜，你有什么解决办法？10、Flink中在使用聚合函数 GroupBy、Distinct、Key
Flink 1.9 读写Hive操作
热门推荐
qq_31866793的博客
08-23 1万+
官网地址： https://ci.apache.org/projects/flink/flink-docs-master/dev/table/hive/ 源码地址： https://github.com/apache/flink/blob/master/flink-connectors/flink-connector-hive/src/main/java/org/apache/flink/c...
FlinkSQL 整合 Hive
YYDS_emmm的博客
09-05 2368
FlinkSQL 整合 Hive 介绍 Flink 从 1.9 开始支持集成 Hive，不过 1.9 版本为 beta 版，不推荐在生产环境 中使用。 在 Flink1.10 版本中，标志着对 Blink 的整合宣告完成，对 Hive 的集成 也达到了生产级别的要求。 这里使用的 Flink 是 1.13.0，Hive 是 3.1.2。 Flink 与 Hive 的集成方式 Flink 与 Hive 的集成主要体现在以下两个方面: 1.持久化元数据 Flink 利 用 Hive 的 MetaStore 作
flink sql 知其所以然（十八）：在 flink 中还能使用 hive udf？附源码
qq_34608620的博客
02-13 1802
1.序篇 源码公众号后台回复1.13.2 sql hive udf获取。 废话不多说，咱们先直接上本文的目录和结论，小伙伴可以先看结论快速了解博主期望本文能给小伙伴们带来什么帮助： 背景及应用场景介绍：博主期望你能了解到，其实很多场景下实时数仓的建设都是随着离线数仓而建设的（相同的逻辑在实时数仓中重新实现一遍），因此能够在 flink sql 中复用 hive udf 是能够大大提高人效的。 flink 扩展支持 hive 内置 udf：flink sql 提供了扩展 udf 的能力，即 modul
flink安装以及sql连接hive
Jatham_C的博客
02-16 1709
官网下载flink 根据官方文档进行安装 flink运行wordCount 代码在https://ci.apache.org/projects/flink/flink-docs-release-1.10/getting-started/tutorials/local_setup.html 官方教程 public static void main(String[] args) throws ...
flink系列--connector源码分析
wolflikeinnocence的博客
10-25 1516
1.概念 connector简单来说就是flink系统对接的外界数据源 2.支持的数据源类型 该截图来自于官网，可以看到官网并没有支持很多常见的数据源，而且支持的数据源不一定source和sink都支持，那这是为什么呢？ 如果你了解flink架构中taskmanager是如何进行数据交换的，那么这个问题也就不难理解，一般一个taskmanager会有两个网关（输入和输出），每一个taskmanager输入网关和上游的taskmanager的输出网关是通过netty进行交互的，有了一个buffer
flink-connector-hive_2.11-1.11.0.jar
07-30
修改过源码的jar包
flink-connector-hive_2.12-1.12.0.jar
12-16
flink-connector-hive_2.12-1.12.0.jar
Flink1.9 最新版本编译-Hadoop2.8.3 [完整版]
aikfk的博客
10-11 3550
第一步：JDK环境准备 特别说明一下：官网要求Flink编译和使用的时候JDK版本必须是1.8以上，所以这里我们使用的额是1.8.0.221版本，建议大家JDK用1.8.0.191或者1.8.0.221以上的版本。不要用低于1.8.0.191的版本，低于1.8.0.191版本编译没有问题，但运行Flink程序的时候会出问题。JDK配置完之后，要检查一下，确保你的版本是OK的。 #JAV...
基于CDH-5.14.2编译Flink1.9.1的安装包
猫不夜行的博客
01-03 3806
准备工作 maven3 jdk1.8 CDH-5.14.2 下载源码包 [root@node01 ~]# cd /opt/software/ [root@node01 software]# wget http://archive.apache.org/dist/flink/flink-1.9.1/flink-1.9.1-src.tgz [root@node01 software]# t...
Flink 1.10: Cannot find compatible factory for specified execution.target (=local)
xiaozhaoshigedasb的博客
04-09 2295
         flink1.10的一个本地Demo测试过程中出现的一个问题，很简单的一段Word Count问代码： package flink.io import org.apache.flink.api.scala.ExecutionEnvironment import org.apache.flink.api.scala._ objec...
Cannot find compatible factory for specified execution.target (=local)
Scnu_wang的博客
04-20 1540
目录背景描述错误信息解决方案 背景描述 本地运行Flink入门的word count项目，但是运行是报错，提示如下信息。 错误信息 SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder". SLF4J: Defaulting to no-operation (NOP) logger implementation SLF4J: ...
Flink源码分析之深度解读流式数据写入hive
公众号[大数据技术与应用实战]，分享大数据实战案例
08-28 1550
其实我们可以想一下这个工作大概是什么流程，首先要写入hive，我们首先要从hive的元数据里拿到相关的hive表的信息，比如存储的路径是哪里，以便往那个目录写数据，还有存储的格式是什么，orc还是parquet，这样我们需要调用对应的实现类来进行写入，其次这个表是否是分区表，写入数据是动态分区还是静态分区，这些都会根据场景的不同而选择不同的写入策略。 写入数据的时候肯定不会把所有数据写入一个文件，那么文件的滚动策略是什么呢？写完了数据我们如何更新hive的元数据信息，以便我们可以及时读取到相应的数据呢？
flink连接到外部系统Kafka Connector API 代码报错问题org.apache.flink.table.factories.DeserializationSchemaFactory
cheyanming123的专栏
06-05 1万+
更多内容参考：https://ci.apache.org/projects/flink/flink-docs-release-1.7/dev/table/connect.html#kafka-connector package org.apache.flink.streaming.scala.examples.kafka import org.apache.flink.stream...
Flink SQL Client方言切换与datagen-＞Hive(DDL形式+streaming形式)
微电子学与固体电子学-俞驰
12-31 1519
切换Flink SQL Client方言: 切换目标 Flink SQL Client命令 切换为hive SET table.sql-dialect=hive; 切换为flink SET table.sql-dialect=default; Reference: [1]Flink Sql on Zeppelin（6）——Hive Streaming
flink-connector-hive_2.11-1.13.1.jar
最新发布
03-14
flink-connector-hive_2.11-1.13.1
flink-sql-connector-hive-2.3.6_2.11-1.11.0.jar
11-16
flink-sql-connector-hive-2.3.6_2.11-1.11.0.jar
【记录】CDH5.12.1集成Flink1.9.0，并实现cm5.12.1监控flink
遇事不决问春风
09-30 2270
写在前头：最近在CDH上集成flink，现在新版本的CDH6.3以上的，官网有提供parcel跟csd文件，但是我们使用的是CDH5.12.1，还是比较老的版本，所以要自己编译。在这期间搜集了不少资料，但是没有一篇详细的文章是从flink编译=>生成csd、parcel文件=>集成cm这一整套流程完整走下来的。因此我整理了之前收集的资料，并把自己在安装过程出现的问题也整理了出来。希望对大家有所帮助 一、安装准备 我使用的软件版本： Hadoop 2.6.0-cdh5.12.1 Apache Ma
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值