Flink
文章平均质量分 78
诚诚程程成
Web、BigData、NLP
展开
-
Flink无法在yarn提交任务:取消检查虚拟内存
无论是会话模式,还是单作业模式,Flink无法运行原创 2022-06-21 21:42:20 · 839 阅读 · 1 评论 -
Flink集群启动后 无法优雅的关闭:PID进程文件问题
FLINK集群启动后,./bin/stop-cluster无法正常关闭集群原创 2022-06-21 16:42:03 · 1992 阅读 · 0 评论 -
Flink笔记
常用指令 同步分发脚本至相同目录:xsync 文件名/ 自己编写的xsync分发脚本 rsync远程同步工具:避免复制相同内容 rsync -av flink-1.12.2/ dwc@hadoop103:/opt/Environment/flink-1.12.2/ 复制scp -r 需要进入root权限 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-wQsUdaZ5-1653008673131)(C:\Users\81553\AppData\Roam原创 2022-05-20 09:05:51 · 327 阅读 · 0 评论 -
Flink CDC 如何简化数据入湖
1 概述 CDC 的全称: Change Data Capture 。在广义的概念上,只要是能捕获数据变更的技术,都可以称之为CDC。目前通常描述的 CDC 技术主要面向数据库的变更,是一种用于捕获数据库中数据变更的技术 数据湖: 数据湖是一个集中式存储库,允许以任意规模存储所有结构化和非结构化数据。可以按原样存储数据(无需先对数据进行结构化处理),并运行不同类型的分析 – 从控制面板和可视化到大数据处理、实时分析和机器学习,以指导做出更好的决策。 2 Flink CDC 性能测试 阿里巴巴技术专家—伍翀(原创 2022-03-21 16:45:26 · 2583 阅读 · 0 评论