Flink实战（111）：flink-sql使用（十九）Flink 与 hive 结合使用（八）Hive Streaming 实战解析

已于 2022-07-05 22:29:03 修改
阅读量763 收藏 3
点赞数 2
分类专栏： Flink系统性学习专栏 文章标签： hive flink sql
于 2021-01-23 15:20:10 首次发布
原创文章禁止转载。否则追究法律后果。
本文链接：https://blog.csdn.net/u013411339/article/details/113051297
版权
本文介绍了Flink 1.11中的Hive Streaming特性，探讨了它在解决Lambda和Kappa架构问题上的作用。通过实例展示了如何配置Checkpoint、从Kafka写入数据、使用Hive Streaming Sink和Source，以及Hive作为Temporal Table的使用。Hive Streaming简化了实时数仓与离线数仓的集成，提供了更好的Ad-Hoc分析能力。
摘要由CSDN通过智能技术生成

Flink 1.11 正式发布已经三周了，其中最吸引我的特性就是 Hive Streaming。正巧 Zeppelin-0.9-preview2 也在前不久发布了，所以就写了一篇 Zeppelin 上的 Flink Hive Streaming 的实战解析。本文主要从以下几部分跟大家分享：

  • Hive Streaming 的意义
  • Checkpoint & Dependency
  • 写入 Kafka
  • Hive Streaming Sink
  • Hive Streaming Source
  • Hive Temporal Table

1 Hive Streaming 的意义

很多同学可能会好奇，为什么 Flink 1.11 中，Hive Streaming 的地位这么高？它的出现，到底能给我们带来什么？ 其实在大数据领域，一直存在两种架构 Lambda 和 Kappa：

  • Lambda 架构——流批分离，静态数据通过定时调度同步到 Hive 数仓，实时数据既会同步到 Hive，也会被实时计算引擎消费，这里就引出了一点问题。

  • 数据口径问题

  • 离线计算产出延时太大

了解本专栏 订阅专栏 解锁全文 超级会员免费看
王知无(import_bigdata)
关注
专栏目录
订阅专栏
Flink实战（八十六）：flink-sql使用（十三）Flink 与 hive 结合使用（五）Hive Streaming
微信搜：import_bigdata，大数据领域硬核原创作者
01-23 548
声明：本系列博客是根据SGG的视频整理而成，非常适合大家入门学习。 《2021年最新版大数据面试题全面开启更新》 0 Hive Streaming A typical hive job is scheduled periodically to execute, so there will be a large delay. Flink supports to write, read and join the hive table in the form of streaming. 1 Stream
Flink x Zeppelin ，Hive Streaming 实战解析
Ververica的博客
07-30 671
Flink 1.11 正式发布已经三周了，其中最吸引我的特性就是 Hive Streaming。正巧 Zeppelin-0.9-preview2 也在前不久发布了，所以就写了一篇 Zep...
Flink 1.11新特性之SQL Hive Streaming简单示例
LittleMagic's Blog
07-15 2024
前言 今天本来想搞篇走读StreamingFileSink源码的文章，但是考虑到Flink 1.11版本发布已经有段时间了，于是就放松一下，体验新特性吧。 与1.10版本相比，1.11版本最为显著的一个改进是Hive Integration显著增强，也就是真正意义上实现了基于Hive的流批一体。本文用简单的本地示例来体验Hive Streaming的便利性。 添加相关依赖 测试集群上的Hive版本...
Flink源码篇-FLINK的StreamingHive实现流程以及小文件压缩流程
进阶的成长之路
08-09 1685
Flink的HiveStreamingSink实现流程 前言 目前我们为了增强数据的时效性,增加了Flink实时写入Hive的流程,基于Flink写入Hive这里之前基本上是没有接触过的,看了官网的文章之后,由于我们的追求数据为1-10分钟内可见性,但是数据也不足1分钟就能达到128MB的情况,于是也会产生各种各样的十几MB的小文件,于是需要了解一下这个写入流程基于上面进行改造,使小文件能够达到自动合并的效果,顺便记录一下FlinkStreamingHive的流程 文章目录Flink的HiveStream
Flink实战（八十一）：flink-sql使用（八）Flink 与 hive 结合使用（二）打包运行
微信搜：import_bigdata，大数据领域硬核原创作者
01-23 764
声明：本系列博客是根据SGG的视频整理而成，非常适合大家入门学习。 《2021年最新版大数据面试题全面开启更新》 注意 1. Flink使用1.11.0版本、HIVE使用3.1.2版本、Hadoop使用3.1.3版本 注意 2. 将hive-site.xml文件放在maven项目的resource目录下。 注意 3. 不编写脚本的话要执行 export HADOOP_CLASSPATH=`hadoop classpath` 语句 第一步：pom依赖 <properties&g
Flink SQL Hive Connector使用场景
最新发布
击水三千里的专栏
11-01 1520
本文基于FLink1.16讨论，Apache Flink Hive Connector提供了Flink与Hive的集成，主要用于在Flink中读取和写入Hive数据
Flink实战（113）：flink-sql使用（二十一）Flink SQL FileSystem Connector分区提交与自定义小文件合并策略
微信搜：import_bigdata，大数据领域硬核原创作者
01-23 1116
声明：本系列博客是根据SGG的视频整理而成，非常适合大家入门学习。 《2021年最新版大数据面试题全面开启更新》 1 Prologue 之前笔者在介绍Flink 1.11 Hive Streaming新特性时提到过，Flink SQL的FileSystem Connector为了与Flink-Hive集成的大环境适配，做了很多改进，而其中最为明显的就是分区提交（partition commit）机制。本文先通过源码简单过一下分区提交机制的两个要素——即触发（trigger）和策略（policy）的实现
Flink实战-Flink新特性之SQL Hive Streaming简单示例
微信搜：import_bigdata，大数据领域硬核原创作者
02-02 475
前言 今天本来想搞篇走读StreamingFileSink源码的文章，但是考虑到Flink 1.11版本发布已经有段时间了，于是就放松一下，体验新特性吧。 与1.10版本相比，1.11版本最为显著的一个改进是Hive Integration显著增强，也就是真正意义上实现了基于Hive的流批一体。本文用简单的本地示例来体验Hive Streaming的便利性。 添加相关依赖 测试集群上的Hive版本为1.1.0，Hadoop版本为2.6.0，Kafka版本为1.0.1。 <proper.
Flink1.11 streaming写入hive踩坑
qq_31866793的博客
07-14 4935
1，踩坑的地方，可能是依赖冲突： 在开始执行代码的时候发现报错是缺少ORC的依赖，所以导致添加了部分依赖，导致程序执行结果跟预想不一样 2，不熟悉具体API导致 3，都是idea本地执行的代码，还没在集群测试。 POM文件，干净版本： <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-json</artifactId> &.
Flink Sql on Zeppelin（6）——Hive Streaming
狄杰的博客
07-19 1781
概述 Flink1.11 在上周二正式release了，在此之前我也给大家分享过了Flink1.11的一些新特性，然后和大家说过这一期会给大家单独说Flink X Hive 本来打算找点数据，然后做一期类似于实时数仓的内容，但是数据不太好找，加上时间、精力有限就简单和大家聊聊吧 在开始之前，大家参考一下Hive Integration，把flink 连接hive所需要的包放到lib目录下 Hive Streaming Sink 先看看官网是怎么描述Hive Streaming Sink的吧 SET
hive Streaming
weixin_34218890的博客
05-11 137
2019独角兽企业重金招聘Python工程师标准>>> ...
hive streaming
热门推荐
eiffel_0311的博客
05-10 7万+
1. hive 的streaming 包括:     map(), reduce(), transform()， 常用的为transform 2. 恒等变换 select transform(name, salary) using "/bin/cat" as new_name, new_salary from employees where country = 'CHINA';
Hive Streaming
GatsbyNewton
01-20 4902
1.Hive Streaming介绍 在前面我们看到了UDF、UDTF、UDAF的实现并不是很简单，而且还要求对Java比较熟悉，而Hive设计的初衷是方便那些非Java人员使用。因此，Hive提供了另一种数据处理方式——Streaming，这样就可以不需要编写Java代码了，其实Streaming处理方式可以支持很多语言。但是，Streaming的执行效率通常比对应编写的UDF或改写Input
Flink 1.11 新特性之 SQL Hive Streaming 简单示例
Ververica的博客
07-21 2017
7月7日，Flink 1.11 版本发布，与 1.10 版本相比，1.11 版本最为显著的一个改进是 Hive Integration 显著增强，也就是真正意义上实现了基于 Hive 的...
Hive之——Streaming
冰河的专栏
03-17 1448
转载请注明出处：https://blog.csdn.net/l1028386804/article/details/88624013 Hive中提供了多个语法来使用streaming，包括：MAP()、REDUCE()和TRANSFORM()。要注释的是MAP()实际上并非可以强制在map阶段执行streaming，正如reduce并非可以强制在reduce阶段执行streaming。因为这个原...
HIVE中的streaming
qq_35559420的博客
02-24 321
Hive中提供多个语法来使用streaming,包括1）map(); 2) reduce();3)transform(). 1.transform返回的字段类型. 默认情况下，transform返回的字段的 数据类型 是字符串类型。 如果需要更改transform返回的字段类型，则使用如下语句： select transform(col1, col2) using ‘python test.py...
Flink与ClickHouse：构建实时数据处理平台深度解析
"《基于Flink ClickHouse构建实时数据平台》是一份关于大数据领域的重要文档，主要关注如何利用Flink（流处理框架）与ClickHouse（高性能列式数据库系统）结合，构建实时数据处理平台。文档首先分析了业务场景和当前...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

王知无(import_bigdata)

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值