![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
flink
ProMan_XY
这个作者很懒,什么都没留下…
展开
-
flink中insertDB与kafka发送消息按序执行
业务:首先使用flink从kafka中获取消息,这个消息对应着一个关于直播间的具体信息,当然过来的是一个JSON;之后对数据进行流式处理,存入clickhouse;最后通过kafka将数据更新的情况传递给下游服务。main方法:流式处理直接用main启动,自己就跟那儿跑,但是遇到报错会停止;并行度这块儿可以按需设置;execute方法必须执行,不写运行不了。public static void main(String[] args) throws Exception { Str原创 2022-03-31 11:55:14 · 5462 阅读 · 0 评论 -
flink(kafka连接器)
用法KafkaSource<String> source = KafkaSource.<String>builder() .setBootstrapServers(bootstrapServers)//输入kafka的服务器地址 .setTopics("kafka-boot","kafka-boot-s")//底层是一个数组可以订阅一个及以上的主题 .setTopics("kafka-boot") .setG.原创 2022-02-21 15:12:31 · 5668 阅读 · 0 评论 -
flink(基础算子操作)
关于flink基础开发首先准备数据 准备数据 中间对数据进行转换处理 可以输出打印结果或者到日志中 执行这块儿算是比较基础的一块儿,但是一开始接触会感觉跟java原生代码有所区别,看久了就觉得都是一个东西。关于keyBy()返回类型为KeyedStream 主要用于分组 在逻辑上将流划分为不相交的分区。具有相同键的所有记录都分配到同一个分区。 在内部,keyBy()是通过散列分区实现的。有不同的方法来指定键。从这块儿算子开始,就跟Java8的lambd...原创 2022-02-21 11:35:41 · 4897 阅读 · 0 评论 -
springboot集成flink和mybatis
flink有一套自己的流程处理模式 不能随意转换其类型 目前集成的mybatis也就算是半集成,还没有思路去集成mybatis-Plus上代码:目前先会放上一层接口调用流程来记录entity:import com.baomidou.mybatisplus.annotation.TableName;import lombok.AllArgsConstructor;import lombok.Data;import lombok.NoArgsConstructor;import lom原创 2022-01-04 10:42:51 · 7530 阅读 · 4 评论 -
flink部署半集群(一)
部署JDK8先去官网下载JDK Linux版本的 JDK8就够用 tar一下部署完了用看下版本(最好与以后要部署的jar/war的JDK版本一致)配置一下JDK环境变量部署flink下载flink解压flink 并配置各个参数 master port 内存 并行数 页面端口等修改 /conf/masters 和 workers分发至其他flink节点启动集群 关闭集群 jpsslave也可以jps一下./bin...原创 2021-12-28 16:22:26 · 5921 阅读 · 0 评论