子业务1111

最新推荐文章于 2024-04-20 11:17:36 发布

倾世泽薌

最新推荐文章于 2024-04-20 11:17:36 发布

阅读量75

点赞数

文章标签： visual studio code

本文链接：https://blog.csdn.net/weixin_46033736/article/details/120897630

版权

该博客介绍了一个使用Apache Flink处理指数秒级行情数据的Java实现。代码展示了如何进行数据分组、时间窗口操作，以及通过自定义函数处理数据，并最终将结果写入Hbase存储。主要涉及数据流处理、窗口函数和实时数据写入。

摘要由CSDN通过智能技术生成

package cn.itcast.task;

import cn.itcast.bean.CleanBean;
import cn.itcast.config.QuotConfig;
import cn.itcast.function.IndexSecListPutWindowFunction;
import cn.itcast.function.IndexSecWindowFunction;
import cn.itcast.function.KeyFunction;
import cn.itcast.inter.ProcessDataInterface;
import cn.itcast.sink.SinkHbase;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.windowing.time.Time;

/**
* 指数秒级行情
* 每5s一条最新时间的数据
*/
public class IndexSecTask implements ProcessDataInterface {
@Override
public void process(DataStream<CleanBean> waterData) {
/**
* 开发步骤：
* 1.数据分组
* 2.划分时间窗口
* 3.秒级数据处理（新建数据写入Bean和秒级窗口函数）
* 4.数据写入操作
* * 封装ListPuts
* * 数据写入
*/
// 1.数据分组
waterData.keyBy(new KeyFunction())
//2.划分时间窗口
.timeWindow(Time.seconds(5))
//3.秒级数据处理（新建数据写入Bean和秒级窗口函数）
.apply(new IndexSecWindowFunction())
//4.数据写入操作
.timeWindowAll(Time.seconds(5))
.apply(new IndexSecListPutWindowFunction())//封装ListPuts
//数据写入
.addSink(new SinkHbase(QuotConfig.config.getProperty("index.hbase.table.name")));