![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
【流处理】
_laomei_
Debezium Contributor;
Schema Registry Contributor;
flink大数据、微服务体系开发;
展开
-
Flink on Yarn 启动方式
flink yarn 核心入口方法flink yarn集群模式运行的job,通过flink cli提交任务,对应的类为org.apache.flink.yarn.cli.FlinkYarnSessionCli。在FlinkYarnSessionCli对象内会创建org.apache.flink.yarn.YarnClusterDescriptor对象,此对象封装了创建flink yarn session逻辑。org.apache.flink.yarn.YarnClusterDescriptor#depl原创 2020-05-26 09:57:30 · 870 阅读 · 0 评论 -
实时日志/数据库采集处理,实时用户行为属性个人总结
好久没写博客了,做了一段时间的日志采集和流处理,总结一下自己的工作吧。本人只涉及了日志埋点流处理,监控系统相关的内容不在本文,我也没有涉及到。很有幸的是,在大数据前我负责了内部 debezium 相关的维护开发,所以本文也会介绍一下实时数据库变更流相关的内容。目录概述日志采集端几个问题解决问题其它日志处理日志拆分埋点日志处理其它数据库变更流采集实时计算平台其它概述下图是目前我经手的整个实时...原创 2020-03-29 16:59:42 · 1361 阅读 · 0 评论 -
flink OutputSelector 简单使用
OutputSelector能够将一条输入流拆分为多个输出流,例如常见的日志流,根据日志级别拆分,就可以通过OutputSelector实现。可以通过一下代码,实现根据日志级别拆分日志流。public class LogSelector implements OutputSelector<String> { @Override public Iterable&l...原创 2019-12-15 22:21:57 · 955 阅读 · 1 评论 -
用confluent的包部署debezium
1.下载confluent 4.0包, 地址https://www.confluent.io/download/,解压放到/opt下;2.下载0.7.1的debezium, 地址https://repo1.maven.org/maven2/io/debezium/debezium-connector-mysql/0.7.1/debezium-connector-mysql-0.7.1-plug原创 2018-01-18 22:14:34 · 2943 阅读 · 0 评论 -
单台kafka,启动kafka connect必须配置副本数为1
在自己电脑上跑了单台kafka, 之后尝试启动kafka connect,会启动失败, 因为启动的时候会创建config.storage.topic, offset.storage.topic, status.storage.topic相应的Topic; 默认创建这3个Topic时, 副本个数都为3, 但是我们只有一台kafka, 所以创建几个配置Topic失败; 也就导致启动失败;还有一种情原创 2018-01-21 16:29:44 · 2054 阅读 · 0 评论