flink
小东升职记
人生陆远只有忘的甘静才会有江莱。
展开
-
Flink 参数配置和常见参数调优
Flink参数配置 jobmanger.rpc.address jm的地址。 jobmanager.rpc.port jm的端口号。 jobmanager.heap.mb jm的堆内存大小。不建议配的太大,1-2G足够。 taskmanager.heap.mb tm的堆内存大小。大小视任务量而定。需要存储任务的中间值,网络缓存,用户数据等。 taskmanager.numberOfTaskSlots slot数量。在yarn模式使用的时候会受到yarn.sche转载 2020-08-06 11:23:28 · 1390 阅读 · 0 评论 -
Flink 1.11 新特性之 SQL Hive Streaming 简单示例
7月7日,Flink 1.11 版本发布,与 1.10 版本相比,1.11 版本最为显著的一个改进是 Hive Integration 显著增强,也就是真正意义上实现了基于 Hive 的流批一体。 本文用简单的本地示例来体验 Hive Streaming 的便利性并跟大家分享体验的过程以及我的心得,希望对大家上手使用有所帮助。 添加相关依赖 测试集群上的 Hive 版本为 1.1.0,Hadoop 版本为 2.6.0,Kafka 版本为 1.0.1。 <properties> &l转载 2020-07-23 17:08:24 · 349 阅读 · 0 评论 -
Flink之实时统计热门商品的TopN
文章目录 一、需求说明 1、以案例驱动理解 二、技术点 三、代码实现(一) 1、调用底层的Process(可做类似map的操作),将Json字符串解析成MyBehavior对象 2、提取EventTime,转换成Timestamp格式,生成WaterMark 3、按照指定事件分组 4、把分好组的数据,划分窗口:假设窗口总长10分钟, 步长1分钟滑动一次 5、窗口内的数据进...原创 2020-06-16 10:23:48 · 779 阅读 · 0 评论 -
Flink源码阅读(1.7.2)
https://www.cnblogs.com/code2one/p/10574873.html转载 2019-12-05 13:56:10 · 143 阅读 · 0 评论 -
Flink计算最热门TopN商品
为了统计每个窗口下最热门的商品,我们需要再次按窗口进行分组,这里根据ItemViewCount中的windowEnd进行keyBy()操作。然后使用ProcessFunction实现一个自定义的TopN函数TopNHotItems来计算点击量排名前3名的商品,并将排名结果格式化成字符串,便于后续输出。 .keyBy("windowEnd") .process(newTopNHotIt...原创 2019-11-12 09:42:31 · 1302 阅读 · 0 评论 -
深入理解Apache Flink核心技术
https://www.cnblogs.com/feiyudemeng/p/8998772.html转载 2019-06-04 09:40:13 · 523 阅读 · 0 评论