flink-cdc
文章平均质量分 55
YPeiQi
欢迎来到佩奇的杂货铺,所有和技术相关的都可以一起交流!
展开
-
flink-CDC的sqlServer连接器的前期准备
这里选择的是【基本】(直接无脑,如果需要深入研究可以选择其他。其他的基本就是下一步,(傻瓜式安装)。启动ssms,登录,ssms会自动以windows认证方式登录,点击连接。比如,修改数据库服务器的登录认证机制,修改某些登录账号的权限等。一定要开启代理服务,否则无法获取到变更的数据!找到sa用户,下图是修改以后,没有修改之前会有一个【x】。选择以SQL server 认证的方式进行登录,测试成功。的机器上,使用用户名/密码登录操作数据库。然后,安装,(傻瓜式安装足够)。重新启动sqlserver服务。原创 2023-04-20 14:34:50 · 669 阅读 · 0 评论 -
FLink-CDC 的Oracle连接器的demo
利用flink的DatStream API 创建任务自定义输出格式 - -> {schema:xx , table:xx, data:{xx:xx,yy:yy}}原创 2023-04-20 14:27:14 · 1143 阅读 · 0 评论 -
Oracle-CDC处理时间字段
FLinkCDC的Oracle连接器,将oracle的时间类型的字段进行了转化,导致和数据库中查询出来的不一致,但是由于需求,得到的数据需要和数据库中查询出来的数据保持一致。因此需要自己进行处理。请注意,对于FLink CDC 的Oracle 连接器来说,全量阶段和增量阶段所获得的原始数据是不一致的,猜测应该是 全量的时候是直接查询的数据库,只有增量的时读取的Oracle的归档日志,因此全量和增连更需要分开处理,上述的类可以同时做到。类,实际上自己定义的类,也会覆盖此类。原创 2023-04-20 14:26:06 · 571 阅读 · 5 评论 -
FLinkCDC读取MySQl中的日期问题
在通过FlinkCDC读取MySQL的BinLog日志的时候,发现读取到日期类型的数据和数据库中存储的相差八小时。flink版本:1.15.1,MySQLCDC版本:2.3.0如下图。自定义时间转换配置。转载 2023-04-20 14:24:42 · 1728 阅读 · 2 评论 -
使用FlinkCDC-mongodb连接器的前期准备工作
【代码】使用FlinkCDC-mongodb连接器的前期准备工作。原创 2023-04-20 14:22:31 · 442 阅读 · 0 评论