![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Flink Sql on Zeppelin
使用Zeppelin玩转Flink Sql
狄杰丶
单创数据平台负责人
展开
-
Flink Sql on Zeppelin(7)——Hive Streaming Sink之合并小文件
概述之前和大家聊Hive Streaming Sink的时候说过,可以通过指定参数sink.partition-commit.policy.kind,来决定在提交分区时要做的事,比如合并小文件本身Hive Streaming Sink是基于FileSystem Streaming Sink,FileSystem Streaming Sink其实已经做了保护,减少小文件的产生。主要是这两个参数sink.rolling-policy.file-size:文件超过多大会切分sink.rolling-p原创 2020-07-30 20:33:45 · 2480 阅读 · 5 评论 -
Flink Sql on Zeppelin(6)——Hive Streaming
概述Flink1.11 在上周二正式release了,在此之前我也给大家分享过了Flink1.11的一些新特性,然后和大家说过这一期会给大家单独说Flink X Hive本来打算找点数据,然后做一期类似于实时数仓的内容,但是数据不太好找,加上时间、精力有限就简单和大家聊聊吧在开始之前,大家参考一下Hive Integration,把flink 连接hive所需要的包放到lib目录下Hive Streaming Sink先看看官网是怎么描述Hive Streaming Sink的吧SET原创 2020-07-19 18:05:48 · 1761 阅读 · 5 评论 -
Flink Sql on Zeppelin(6)——Flink1.11预览(上)
Flink 1.11 Table&Sql预览概述之前就和大家说过要做一期Flink 1.11的超前点映版,加上Flink 1.11 release在即,所以这次的内容就和大家简单分享一些Table&Sql方面的新特性就像标题一样,还是会在Zeppelin中演示,由于两个项目都没release,所以我自己编了下,不过大家用的时候可能有点问题,可以钉钉联系我解决,钉钉号是rnodvmd。链接: https://pan.baidu.com/s/1qCsv9nf35mrqLSTMq9f1fQ原创 2020-07-05 14:34:06 · 2950 阅读 · 0 评论 -
Flink Sql on Zeppelin(5)——双流Join
双流Join概述其实之前和大家聊过双流Join,这次之所以再拉出来讲并不是在炒冷饭,而是发现了之前讲的一些不足以UnBounded Join来说,我之前一直以为,无论哪边的流先到,只要匹配上之后,key对应的、存储在state中的数据应该被清理。这样,无论哪边再来一条同样key的数据,不会触发数据下发,也就是一对一。其实这样的理解是错误的,key会一直存储在state中,直到OOM或者配置TTL之后被清理。那么,也就是会多次触发数据下发,也就是会发生一对多、多对多之前关于Time Interval原创 2020-06-28 17:48:26 · 1287 阅读 · 1 评论 -
Flink Sql on Zeppelin(4)——聚合结果写入Kafka
聚合结果写入Kafka概述大家在使用Flink Sql,并将聚合数据写入Kafka的时候,肯定遇到过这样的报错Exception in thread "main" org.apache.flink.table.api.TableException: AppendStreamTableSink requires that Table has only insert changes.at org.apache.flink.table.planner.plan.nodes.physical.stream.原创 2020-06-20 15:21:01 · 1920 阅读 · 0 评论 -
Flink Sql on Zeppelin(3)——UDF&Redis维表
UDF概述UDF在我们的Sql开发中,是一个必不可少的帮手,通过Sql+UDF能够解决我们90%的问题Flink目前提供了大量的内置UDF供我们使用,详细可以参考官方文档不过有些时候,内置的UDF并不满足我们的需求,那就需要自定义UDF下面我们就来看看如何在Zeppelin中使用自定义UDF使用在Flink中,使用代码注册UDF有两种方式tEnv.registerFunction("test",new TestScalarFunc());tEnv.sqlUpdate("CREATE原创 2020-06-14 14:23:49 · 1712 阅读 · 4 评论 -
Flink Sql on Zeppelin(2)——维表Join
维表join代码编写之前在讲Flink Sql的时候和大家聊过维表以及如何用Flink Sql来完成维表Join现在带大家看看如何用Zeppelin来实现这个功能首先,我们先引入我们所需的依赖包,目前大家先跟着我这么写,之后会讲解引入依赖的多种方式和区别。 %flink.conf # 这是第一个paragraph,大家不要把所有代码写在一个paragraph里面 # 配置一下依赖包,这种方式会自动下载依赖 flink.execution.packages org.apache.flink原创 2020-06-11 12:00:12 · 1845 阅读 · 0 评论 -
Flink Sql on Zeppelin(1)——环境准备
环境准备概述为什么会选择Sql目前开发Flink的方式有很多,一般来说都是开发同学写JAVA/SCALA/PYTHON项目,然后提交到集群上运行这种做法较为灵活,因为你在代码里面可以写任务东西,什么维表JOIN、参数调优,都能很轻松的搞定但是对开发同学的要求较高,有一定的学习成本。比如有些同学擅长JAVA,有些擅长PYTHON,而在我们的项目开发过程中,是不会允许多种语言共存的,一般来说都是选择JAVA作为我们的开发语言,那么,对于擅长PYTHON的同学来说,再从头开始攀爬JAVA这座大山,原创 2020-06-09 10:04:16 · 2441 阅读 · 4 评论