- 博客(6)
- 收藏
- 关注
RSS订阅原创 Flink源码篇-FLINK的StreamingHive实现流程以及小文件压缩流程
Flink的HiveStreamingSink实现流程前言目前我们为了增强数据的时效性,增加了Flink实时写入Hive的流程,基于Flink写入Hive这里之前基本上是没有接触过的,看了官网的文章之后,由于我们的追求数据为1-10分钟内可见性,但是数据也不足1分钟就能达到128MB的情况,于是也会产生各种各样的十几MB的小文件,于是需要了解一下这个写入流程基于上面进行改造,使小文件能够达到自动合并的效果,顺便记录一下FlinkStreamingHive的流程文章目录Flink的HiveStream
2021-08-09 14:29:55
1509
1
原创 Flink源码篇-FlinkStreaming执行计划生成流程
无知不可怕,毁掉自己的是骄傲1,示例 很多人使用Flink的时候有没有考虑过执行计划是如何生成的,例如Spark的RDD拓扑有向无环图是怎么生成的,打印出来的执行计划应该怎么理解,我们先看一个示例,执行以下System.out.println(env.getExecutionPlan());{ "nodes" : [ { "id" : 1, 图节点ID,也就是transform的ID "type" : "Source: 添加了一个source"...
2021-05-04 17:02:50
2043
2
原创 Flink-Source,Transfrom,Sink链路挂载流程
无知不可怕,骄傲才可怕1 WordCount代码package org.apache.flink.streaming.examples.wordcount;import org.apache.flink.api.common.functions.FlatMapFunction;import org.apache.flink.api.java.tuple.Tuple2;import org.apache.flink.api.java.utils.MultipleParameterTool;impo
2021-05-03 21:53:14
2024
2
原创 Flink源码篇--关于Flink Window开始时间机制
Flink源码篇--关于Flink Window开始时间机制前言：测试数据测试代码遇到的坑查看源码前言： 最近由于Flink relase了新的版本1.12，更新了upsert kafka，以及更佳完善的流批一体机制，所以迫不及待想试试 Flink1.12，前段时间因为事情比较多，也是 很久没搞Flink，最近的一个需求刚好用到窗口，所以想着有空复习一下 Flink内容刚好也跟上一波12的风，于是打开官网了解了一下，顺便复习复习window机制 其实之前的window 机制一直停留在使用层
2020-12-13 20:48:24
1538
3
原创 Hive源码阅读之路
Hive源码阅读（1）阅读环境搭建前言：让学习成为一种习惯环境准备Hive源码下载Hive源码目录hive三个最重要的组件：其他组件hive辅助组件编译源码配置Hive本地调试配置IDEA-DEBUG（注意端口和Host）开始Debug，配置成功图片一张，入口类选择了CLi，想看一下具体的源码执行流程前言：让学习成为一种习惯**前言：**工作已经两年多了，各种各样的大数据框架也使用过，各种官网也翻了很多，但是对于框架的底层源码从未细细的了解过，有一位大佬对我说如果你遇到瓶颈就去看看源码，看看别人的代码怎
2020-11-08 14:12:43
4220
7
原创 Flink1.10,JDK8 运行一段时间后NullException
Flink程序CheckPointNullException 环境:Java8+Flink1.10初期程序正常运行,无任何异常,但是当程序跑了一段时间后,CheckPoint开始报NullException,具体代码异常由于已经修改完毕即没有报错,接下来来说一下出现这个异常的解决思路吧首先我们排查程序代码,采用Lmabda表达式集成Flink框架写的程序,对于所有的异常处理已经全部处理,包括各种全局变量的定义我都检查了一遍基本上是没有任何问题,甚至包括消费kafka数据的解码器我都重新自定义添加空指针异
2020-08-09 15:23:33
1807
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人