flink
文章平均质量分 65
勇者1108
多实践
展开
-
Flink问题总结
**flink问题**:FlinkException: Failed to validate any of the configured directories to moniflink1.9关联hadoop配置需要上传flink-shaded-hadoop-3-uber-3.1.1.7.0.3.0-79-7.0.jar包到/opt/cloudera/parcels/FLINK-1.9.0-csa1.0.0.0-cdh6.3.0/lib/flink/lib,否则安装不上**flink问题**:出现原创 2021-07-15 11:31:31 · 542 阅读 · 0 评论 -
实时计算之Flink CDC
#### 什么是CDCCDC是Change Data Capture(变更数据获取)的简称。核心思想是,监测并捕获数据库的变动(包括数据或数据表的插入、更新以及删除等),将这些变更按发生的顺序完整记录下来,写入到消息中间件中以供其他服务进行订阅及消费。#### CDC的种类CDC主要分为基于查询和基于Binlog两种方式,我们主要了解一下这两种之间的区别:||基于查询的CDC |基于Binlog的CDC||--|--|--||开源产品| Sqoop、Kafka JDBC Source...原创 2021-07-15 10:49:15 · 837 阅读 · 0 评论 -
flink实时数仓(一)之数据采集
#### 1.1 普通实时计算与实时数仓比较普通的实时计算优先考虑时效性,所以从数据源采集经过实时计算直接得到结果。如此做时效性更好,但是弊端是由于计算过程中的中间结果没有沉淀下来,所以当面对大量实时需求的时候,计算的复用性较差,开发成本随着需求增加直线上升。实时数仓基于一定的数据仓库理念,对数据处理流程进行规划、分层,目的是提高数据的复用性。![在这里插入图片描述](https://img-blog.csdnimg.cn/20210304222410187.png?x-oss-process...原创 2021-07-13 16:50:35 · 697 阅读 · 0 评论