chenzuoli的博客

更新删除机制支持地不太友好，不能及时查询更新或删除的数据，那么今天来看下它的表引擎CollapsingMergeTree怎么使用

标题: flink-cdc2.0出来啦，解决了三个大问题日期: 2021-12-01 23:11:20标签: [flink, flink-cdc]分类: flink前面我跟大家说了一下我在使用flink mysql-cdc 1.x的时候碰到的问题，这也是官方一直在解决的问题，那么官方提供的解决方案是什么呢？flink cdc 2.0出现了，下面来看看。我们看看别人总结的flink cdc 1.x的痛点在哪里：那么flink2.0解决了什么问题呢：无锁同步；水平扩展；支持chec.

标题: Flink-cdc所带来的问题日期: 2021-11-28 22:45:09标签: [flink,flink-cdc]分类: Flink今天说下flink-cdc吧，最近工作中遇到了一个比较棘手的问题。我们都知道flink对比其他流计算引擎，其中一个优势就是cdc，它能够作为各个数据源的source和sink，实时接入和实时推送数据，为我们解决了实时接入和推送的问题。工作中用到了flink mysql-cdc，实时导入mysql数据的增删改，你需要做的就是简单配置一个sql，即可搞.

标题: ‘关于hbase-cdc-connector,重要的事情说三遍’日期: 2021-10-23 09:54:44标签: [flink,cdc,hbase]分类: Flink重要的事情说三遍：flink hbase-1.4 cdc兼容hbase 1.0数据库，只是部分隐藏的功能不可用，大部分增删改查是可以用的flink hbase-1.4 cdc兼容hbase 1.0数据库，只是部分隐藏的功能不可用，大部分增删改查是可以用的flink hbase-1.4 cdc兼容hbase 1.0数据.

标题: flink-sql-client提交sql脚本文件日期: 2021-10-22 22:11:34标签: [flink,sql-client]分类: flink我们知道，sql-client.sh可以提供给我们一个sql交互界面，让我们没执行一个sql，就可以看到执行结果，也可以交互式查询表的结果。其实，我们也可以通过sql-client提交sql脚本，我们来看下。./bin/sql-client.sh -h 对应的帮助参数:(base) [chenzuoli@chenzuolis.

标题: Flink sql自定义connector日期: 2021-09-26 22:09:54标签: [Flink, connector]分类: Flink最近公司正在做实时数仓相关的东西，我呢，负责实施，市面上的实时数仓的建设文章很多，发现大部分是基于flink的，国内的朋友，尤其是阿里，力推flink，那么我也来尝试下，使用flink作为我们实时数仓的计算引擎。第一步就是调研flink如何接入数据，在这一块，我们就遇到了麻烦，因为我们的数据源大部分是oracle，flink官方目前还未提.

标题: flink的Oracle-cdc如何实现日期: 2021-08-08 14:33:39标签: [flink, oracle]分类: 实时数仓今天来说说如何实时接入oracle的数据，官方没有提供oracle-cdc的connector，那么我们现在要自己写connector，且看下文。且看阿里提供的数据接入connector有哪些：mysql-cdc postgres-cdc官档在这里：mysql-cdcpostgres-cdc依赖：<dependency> .

标题: flink-connector中kafka和upsertkafka的介绍日期: 2021-08-03 16:46:43标签: [flink, kafka, upsert kafka, 实时数仓]分类: 数据仓库今天来说下flink sql中常用到的connector：kafka，它承接了实时的消息数据，进行处理，当然，这些消息的特点有可能不一样，怎样处理，得到实时的结果，提供给分析、运营、营销等等。下面来看看具体有什么区别，怎么使用。kafka中的实时消息，它也可以是关系型数据库的c.

标题: ‘说说Flink的连接器connector有哪些,怎么用?’日期: 2021-07-31 10:26:51标签: [flink,connector]分类: 数据仓库flink作为一个计算引擎，是缺少存储介质的，那么数据从哪儿来，到哪儿去，就需要连接器了，链接各种类型数据库，各种类型组件进行数据的抽取、计算、存储等，下面来看看flink都有哪些connector，怎么使用的？介绍看看目前支持的connector：这是官方给出的：有些支持数据源，有些不支持数据源，有些支持无边界流.

标题: Flink实时数仓之任务部署模式时间: 2021-07-24 09:10:16标签: [Flink,实时数仓]分类: 实时数仓大家好，我是Lee，最近在研究Flink任务的远程提交，所以需要了解它能不能实现远程提交，怎么提交，有哪几种模式运行flink实时任务，今天给你们介绍一下。且看下文。不同的模式，主要区别就在于集群的生命周期和任务的资源调度上。还有就是任务的main方法是在client上还是cluster上执行的。1.local cluster就是在你搭建的flink集群.

title: Flink实时数仓第二篇【数据接入2】今天说下我在数据接入过程中遇到的一个奇葩的数据一致性的问题，就是在flink删除hbase数据的时候，返回了上一版本的数据，而不是直接删除。环境centos7.4jdk1.8flink 1.12.1hbase 1.4.13hadoop 2.7.4zookeeper 3.4.10问题通过mysql-cdc和hbase-1.4 connector，直接将数据写入hbase，两个sql如下：// create mysql-cdc ta

Flink实时数仓第一篇数据接入欢迎来到实时数仓1.为什么选择Hbase中转，而不是直接入Hive？2.oracle接入为什么这么复杂？3.不支持的cdc数据源怎么办？欢迎来到实时数仓最近在做实时数仓相关工作，了解到一些皮毛，但是大致方向还是对的，目前有一些眉目和进展，就跟大家讲讲。今天讲讲实时数据接入吧，怎么将数据实时接入到数据湖或者数据仓库。来看看流程图：1.为什么选择Hbase中转，而不是直接入Hive？因为Hive不支持更新操作，Hbase可以，当然ES也可以作为中转组件2.orac