flink
清清清清清清
仅以记录自己的成长
展开
-
Flink项目开发记录之使用guava的LoadingCache管理本地化缓存
Flink项目开发记录之使用guava的LoadingCache管理本地化缓存项目背景:目前项目中一直使用直接访问redis的方式来获取配置数据,一旦数据高频的时候,效率就低下了,由于项目在redis的配置中变动的频率一般,所以就需要本地化缓存来提高效率。引入jar包: <dependency> <groupId>com.google.gu...原创 2019-12-12 16:56:14 · 1756 阅读 · 0 评论 -
Flink项目开发记录之合并数据流
Flink项目开发记录之合并数据流项目目前的jar包环境:flink1.9.0这边就是常用jar,就不列出了,合并流我这边选择是使用相同的key流然后设置时间的上下限,进行合流项目背景:由于业务需求,将原本的从kafka接收的数据流,经过业务A处理,变成了a,b两个dataStream,a、b两个流分别经过若干个业务处理后,需要合并到一个流中接着经过业务B、C、D等处理在Sink到ES中,所...原创 2019-12-05 10:12:27 · 2061 阅读 · 0 评论 -
Flink项目开发记录之将日志输出到kafka
Flink项目开发记录之将日志输出到kafka老规矩,我们先上传所需要的jar包 <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka_2.11</artifactId> ...原创 2019-12-02 14:28:16 · 2138 阅读 · 1 评论 -
Flink项目开发记录之kafka获取数据
Flink项目开发记录项目背景:使用的jar包版本: flink1.9.0 、kafka 2.0.1、scala 2.11.11<dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-scala_2.11</arti...原创 2019-12-02 14:05:10 · 556 阅读 · 0 评论 -
Flink KeyedProcessFunction 定时器、State用例
基于flink1.7+scala+kafka直接上代码吧第一个是自定义的一个ProcessFunction 继承KeyedProcessFunctionclass SensorCountTimeOutProcess extends KeyedProcessFunction[Tuple,(GroupInfo,String, String, String),(GroupInfo,String, ...原创 2019-10-16 14:28:20 · 2614 阅读 · 0 评论