40岁程序员学Flink
一个平凡的IT农民工
一个平凡的40+农民工
展开
-
40岁程序员学Flink,入门
公司要求使用flink,于是找了几篇文章作为参考,具体见下面链接,记录一下整个入门过程,本文目的只是为了记录整个入门过程,暂不考虑对错参考1https://www.cnblogs.com/ALittleMoreLove/archive/2018/08/09/9449992.html参考2https://www.cnblogs.com/limaosheng/p/10434848.ht...原创 2019-03-14 17:32:41 · 172 阅读 · 0 评论 -
40岁程序员学Flink,对接kafka
一,背景公司需要用到flink和kafka来处理大数据,对于一个没有接触过这两个东西的40岁程序员,决定自学一下,用了两天的时间终于实现了flink和kafka的对接,目标就是要向kafka输入 "时间戳,温度,设备ID",然后在flink里面按照时间戳分组,再按照设备ID计算的在一个时间段内的温度平均值。二,运行环境window 10,kafka2.1.1, flink 1...原创 2019-03-18 14:03:03 · 366 阅读 · 0 评论 -
40岁程序员学Flink, 模拟事件处理
一,背景 上文已经介绍了flink如何与kafka对接,本文在上文的基础上实现利用flink进行事件监控。模拟场景,有很多机器,不停的把机器的温度发送到kafka,发送消息格式 "机器名=温度",例如 "xyz=30", flink监控该事件,并检查温度是否大于某个值,如果大于则输出提示信息。二,准备条件在window 启动kafka,具体见上文,地址如下:http...原创 2019-03-19 16:53:47 · 149 阅读 · 0 评论 -
40岁程序员学Flink,word count scala版
一, 背景学了接近一个星期的flink,发觉还没有实现过大数据领域的hello world,word count程序,于是决定写一个。另外准备进入flink ml的学习,发现flink ml只支持scala,所以实现一个scala版本,顺便作为scala入门。二,开发环境搭建1 )在window 10安装 IDEA,这个就不多介绍了。2)在window 10 搭建scal...原创 2019-03-21 11:15:48 · 382 阅读 · 0 评论