Flink
高并发
多年clickhouse使用经验,熟悉java开发大数据开发
展开
-
flink异步io调用接口
在清洗事件的时候,需要调用接口来处理,我是直接一个ProcessFunction,来一条处理一条。问题就是出现请求接口的process反压的情况。明明接口的qps能支持很高,时延也低,居然还反压。然后我就看看flink官网,可以使用异步的方式调用:原创 2023-05-12 18:48:41 · 1715 阅读 · 0 评论 -
flink 四 kafka sink mysql
1 maven依赖 <dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId> <version>2.1.0.RELEASE</version> </dependency>原创 2021-11-29 18:41:23 · 1833 阅读 · 0 评论 -
Flink 三 DataStream的各类算子
DataStream的各类算子1 Map:DataStream → DataStream2 flatMap:DataStream → DataStream3 Filter DataStream → DataStream4 KeyBy DataStream → KeyedStream5 Reduce KeyedStream:根据key分组 → DataStream1 Map:DataStream → DataStream遍历数据流中的每一个元素,产生一个新的元素,可以理解为对集合内数据的清洗操作原创 2021-04-27 13:52:35 · 566 阅读 · 1 评论 -
Flink 二 消费kafka数据
flink消费kafka:引入依赖: <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId> </dependency> <dependency> <groupId>org.springframework.kafka</g原创 2021-04-23 14:56:35 · 1882 阅读 · 2 评论 -
Flink 一 环境搭建,输出wordCount
1. Flink环境搭建1.1 Flink版本列表:https://archive.apache.org/dist/flink/1.2 选择最新的1.12.2版本进行安装wget https://archive.apache.org/dist/flink/flink-1.12.2/flink-1.12.2-bin-scala_2.12.tgz1.3 解压安装tar -xzf flink-1.12.2-bin-scala_2.12.tgz./bin/start-cluster.sh检查是否原创 2021-04-19 11:54:28 · 347 阅读 · 0 评论