随着Flink 1.10的发布,对SQL的支持也非常强大。Flink 还提供了 MySql, Hive,ES, Kafka等连接器Connector,所以使用起来非常方便。
接下来咱们针对构建流式SQL应用文章的梗概如下:
1. 搭建流式SQL应用所需要的环境准备。
2. 构建一个按每小时进行统计购买量的应用。
3. 构建每天以10分钟的粒度进行统计应用。
4. 构建按分类进行排行,取出想要的结果应用。
1. 搭建流式应用所需要的环境准备
注意:elasticsearch,mysql要配置允许远程访问
Kafka,用于将数据写入到Kafka中,然后Flink通过读取Kafka的数据然后再进行处理。版本号:2.11。
MySQL, 用于保存数据的分类。Flink从中读取分类进行处理和计算 。版本号:8.0.15。
ElasticSearch, 用于保存结果数据和进行索引存储。下载的时候可以在搜索引擎里边搜索“elasticsearch 国内”,这样就可以从国内快速下载,要不然下载的太慢了。版本号:7.6.0。
Kibana, 用于ES的结果展示,图形化的界面美观。 下载的时候也需要搜索“Ki
本文介绍了如何利用Flink 1.10的流式SQL功能搭建实时数据处理应用。通过环境准备,包括设置MySQL、Elasticsearch、Kafka等,然后构建了按每小时统计购买量、每10分钟粒度统计独立用户数以及按分类排行的应用。整个过程展示了Flink如何与MySQL、Kafka和Elasticsearch集成,实现数据的实时处理和展示。
订阅专栏 解锁全文
681

被折叠的 条评论
为什么被折叠?



