大数据
文章平均质量分 73
_lizhiqiang
种一棵树最好的时间是十年前,其次是现在。
展开
-
Flink 内存管理
一、内存分布图部分配置文件 flink-conf.yamljobmanager.rpc.address: bigdata1# The RPC port where the JobManager is reachable.jobmanager.rpc.port: 6123# The total process memory size for the JobManager.## Note this accounts for all memory usage within the Job原创 2021-03-18 23:46:04 · 451 阅读 · 1 评论 -
Kaffa 按照时间重置 Topic 的所有分区 offset,时区问题?重置命令无效?
Kaffa 按照时间重置 Topic 的所有分区 offset,时区问题?重置命令无效?一、问题原因本质是 Timestamp 转成 DateTime 会默认读取 JVM 的时区,导致我们指定参数的时间比实际 Kafka 重置 offset 时间早了 8 小时。例如:我们指定参数的时间是 08:00:00 ,但是 kafka 内部的时间会以 16:00:00 重置 offset 。如果我们指定的时间是 8 点,现在时间是 9点,还没有到16:00:00。 这样就会导致一个问题,重置命令一直会吧 of原创 2021-01-28 14:29:35 · 1573 阅读 · 0 评论 -
Centos7 中安装最新版 maven 3.6.3
由于 yum 安装的版本比较老,有些项目不能打包,因此需要我们手动安装最新版。先查看当前是否有 mavenmvn --version如果有 用 remove 移除掉老版本。yum remove maven下载新版本 maven 安装包我此处下载 3.6.3 安装包maven 下载地址wget https://mirrors.ocf.berkeley.edu/apache/maven/maven-3/3.6.3/binaries/apache-maven-3.6.3-bin.tar.gz原创 2021-01-18 11:53:59 · 4843 阅读 · 1 评论 -
Flink 自定义addSource 后 SourceFunction 的 run 方法如何执行?源码分析。
正片文章分两个阶段来分析。第一阶段在 AbstractUdfStreamOperator 中将 userFunction 指向 UserDefineSource, env.addSource(new UserDefineSource) 为入口。第二阶段在 StreamSource 中 通过 userFunction.run() 调用了 UserDefineSource 中的 run 方法。第一阶段用户自定义的类 def main(args: Array[String]): Unit =原创 2020-08-06 23:58:40 · 2227 阅读 · 0 评论