- 博客(12)
- 收藏
- 关注
RSS订阅原创 Flink双流合并案例之coGroup、join、connect算子
继承KeyedCoProcessFunction，四个参数，（key，input1，input2，输出类型）join输入是样例类类型,一定有数据,只有匹配到才会进到这个join函数中,所以无法打印异常订单。1、使用到的数据：OrderLog.csv、ReceiptLog.csv，存放在百度网盘，可自取。是因为coGroup()输入的是迭代器，里面可以有空值，所以没有匹配到的数据也能输出。而输入是迭代器，里面可以有空值，故可以打印没有匹配到的异常订单。**从输入的角度看,为什么join无法打印异常订单?
2024-06-07 00:57:37
495
原创 磁盘满载扩容后，zookeeper进程启动失败
查看发现是磁盘空间不足导致kafka总挂机。3.将zookeeper启动正常的虚机中的version-2文件目录发送到当前虚机。4.重新启动zookeeper，查看进程以及端口号是否被监听。1.查看zookeeper的配置文件，找到数据的存放目录。今天项目中发现kafka生产不了数据，虚机中。2.进入目录找到version-2目录。
2024-05-23 20:25:12
210
1
原创 day9：预警案例【用户恶意登陆】【船舶故意超速】【用户行为pv变更buy判断】
案例1：如果用户在2s内连续2次登录失败，判定为恶意登录，发出警告。案例2：20s以上，2分钟以内，速度两次超过20节，发出预警，提示故意超速。案例3：如果用户的行为由pv变成buy就代表他购买了商品，则输出信息。
2024-04-25 22:26:49
511
1
原创 day8：预警案例【 对船舶前后速度差超过20 / 网页前后响应时间差超2s/ 传感器前后温度差大于x度 时做预警 ，关键是要定义状态变量存上一条数据】
预警案例：【 对船舶前后速度差超过20 / 网页前后响应时间差超2s/ 传感器前后温度差大于x度 时做预警 ，关键是要定义状态变量存上一条数据】
2024-04-23 21:48:58
284
原创 day7：分流案例【对船舶信号分流，速度大于15的走主流，小于15的走测输出流】【对日志分流，响应时间＞1s走测输出流】
分流案例：【对船舶信号分流，速度大于15的走主流，小于15的走测输出流】【对日志分流，响应时间>1s走测输出流】
2024-04-23 21:00:22
164
原创 day6：【生成自定义数据源，读取数据】【以传参的方式添加自定义数据源】【数据分流】
1、flink生成自定义数据源，并手动传参打印数据。2、以传参的方式添加自定义数据源。3、对手机数据进行分流，如果价格大于7000，输出高端机，否则输出低端机。4、如果温度超过50度，发出预警信息。
2024-04-18 23:05:20
395
3
原创 day4：【ais船舶案例，使用process算子】
案例1：输出5个船舶字段，分别是mmsi,总报文数，平均速度，最快速度，最慢速度案例2：如果船舶最快速度超过15，那么就输出这个船舶的信息，发出报警
2024-04-14 20:11:46
388
1
原创 day2：【实时计算传感器的最高温度案例】【flink读取kafka手动输入数据】
实时计算传感器的最高温度案例，flink读取kafka数据案例
2024-04-10 23:27:30
369
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人