![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
flink
小东升职记
人生陆远只有忘的甘静才会有江莱。
展开
-
Flink 参数配置和常见参数调优
Flink参数配置 jobmanger.rpc.address jm的地址。 jobmanager.rpc.port jm的端口号。 jobmanager.heap.mb jm的堆内存大小。不建议配的太大,1-2G足够。 taskmanager.heap.mb tm的堆内存大小。大小视任务量而定。需要存储任务的中间值,网络缓存,用户数据等。 taskmanager.numberOfTaskSlots slot数量。在yarn模式使用的时候会受到yarn.sche转载 2020-08-06 11:23:28 · 1373 阅读 · 0 评论 -
Flink 1.11 新特性之 SQL Hive Streaming 简单示例
7月7日,Flink 1.11 版本发布,与 1.10 版本相比,1.11 版本最为显著的一个改进是 Hive Integration 显著增强,也就是真正意义上实现了基于 Hive 的流批一体。本文用简单的本地示例来体验 Hive Streaming 的便利性并跟大家分享体验的过程以及我的心得,希望对大家上手使用有所帮助。添加相关依赖测试集群上的 Hive 版本为 1.1.0,Hadoop 版本为 2.6.0,Kafka 版本为 1.0.1。<properties> &l转载 2020-07-23 17:08:24 · 343 阅读 · 0 评论 -
Flink之实时统计热门商品的TopN
文章目录一、需求说明1、以案例驱动理解二、技术点三、代码实现(一)1、调用底层的Process(可做类似map的操作),将Json字符串解析成MyBehavior对象2、提取EventTime,转换成Timestamp格式,生成WaterMark3、按照指定事件分组4、把分好组的数据,划分窗口:假设窗口总长10分钟, 步长1分钟滑动一次5、窗口内的数据进...原创 2020-06-16 10:23:48 · 746 阅读 · 0 评论 -
Flink源码阅读(1.7.2)
https://www.cnblogs.com/code2one/p/10574873.html转载 2019-12-05 13:56:10 · 136 阅读 · 0 评论 -
Flink计算最热门TopN商品
为了统计每个窗口下最热门的商品,我们需要再次按窗口进行分组,这里根据ItemViewCount中的windowEnd进行keyBy()操作。然后使用ProcessFunction实现一个自定义的TopN函数TopNHotItems来计算点击量排名前3名的商品,并将排名结果格式化成字符串,便于后续输出。.keyBy("windowEnd").process(newTopNHotIt...原创 2019-11-12 09:42:31 · 1285 阅读 · 0 评论 -
深入理解Apache Flink核心技术
https://www.cnblogs.com/feiyudemeng/p/8998772.html转载 2019-06-04 09:40:13 · 490 阅读 · 0 评论