Apache Flink
XiangYida
这个作者很懒,什么都没留下…
展开
-
Apache Flink-使用DataStreamAPI实时统计用户搜索词频
使用DataStreamAPI实时统计用户搜索词频这是我毕业设计的一个模块,后面会提供源码1.模块介绍本项目做的是一个题目搜索相关的应用,这个模块做的就是对用户搜索的文本进行分词然后统计词频。先看这个模块的数据链路图吧用户在搜题的过程中服务端会将用户的搜索数据发送到kafka。Flink消费kafka的数据然后进行中文分词,分词后统计词的频率将结构sink到redis中。2.具体实现这里使用的Flink的DataStreamAPI来实现。先看相关依赖<dependencies&g原创 2020-07-11 23:19:28 · 725 阅读 · 1 评论 -
Apache Flink-使用FlinkSQL开发应用
这是我毕业设计项目中的一个模块,后面会提供源码1 数据链路图[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-9bWM6u2O-1594309492531)(img/4-2.png)]这个模块做的是实时统计用户每10分钟内的搜索次数,也就是10分钟级别的搜索频率。用户搜索时,服务端会把搜索数据发送的Kafka中。直接看Flink的部分吧,这部分做的事情就是消费Kafka中的数据然后基于Event Time(事件时间)的10分钟级别的滚动窗口统计搜索次数。然后将结果集s.原创 2020-07-09 23:47:00 · 1920 阅读 · 1 评论 -
Apache Flink-导入Flink应用开发的模板
进入Flink官网,选择java版本的模板java版本模板执行$ mvn archetype:generate \ -DarchetypeGroupId=org.apache.flink \ -DarchetypeArtifactId=flink-quickstart-java \ -DarchetypeVersion=1.10.0然后用idea打开目录。或者直接在idea中新建maven原创 2020-07-09 23:44:40 · 317 阅读 · 0 评论 -
Apache Flink-环境搭建
笔者直接在docker上搭建的Flink环境先到浏览了Flink官网的文档,最新的稳定版本是1.10.0然后到dockerhub搜索Flink上面直接有flink容器的docker-compose的的配置。直接copy下来。这里我选择的版本flink:1.10.0-scala_2.11version: "3.7"services: jobmanager: image: flink:1.10.0-scala_2.11 container_name: flink-jobmanag原创 2020-07-09 23:41:24 · 839 阅读 · 0 评论