- 博客(5)
- 收藏
- 关注
RSS订阅原创 (二)Confluent Kafka学习笔记之Kafka Connect JDBC Sink
文章目录前言一、Kafka Connect JDBC Sink 介绍？二、JDBC Sink 实践1.Setup Environment2.安装JDBC Sink 到kafka cluster3.DB Setup4. 创建第一个JDBC Sink connector5. 测试Connector总结前言断断续续学习Kafka已经有1年多时间，虽然工作中有涉及到kafka的相关内容，但是对于一些比较有有趣的kafka组件并没有很多机会去深挖，借着工作之余的时间来记录一下这些在学习的过程中发现的东西，目的也是
2021-06-06 19:12:11
1953
1
原创 (一)Confluent Kafka学习笔记之Kafka Connect Debezium
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
2021-05-30 19:39:22
1776
5
原创 数据迁移 - Checksum and serializer
最近接触了Checksum 和 serializer, 项目上在做数据迁移，从monolitic 迁移至micro services. 这其中的难度之大，可能只有做过的人才能体会，以下是关于做Reconciliation的部分，主要侧重于给文件迁移做Recon。这篇文章主要讲述MD5 Checksum 的过程，通常当文件被迁移至新的系统时，需要确保所有文件都是正确迁移，Recon的过程就是验证迁移是否正确，主要是通过计算文件的checksum值，将source 和 destination的checksum
2020-12-27 22:40:02
165
原创 Docker 搭建 hadoop 集群
1. Docker的基础命令$ sudo yum install docker-io$ sudo service docker start$ sudo chkconfig docker on$ sudo docker pull centos$ sudo docker images centos$ sudo docker run -i -t centos /bin/bash删除：do...
2019-02-13 13:10:45
682
原创 Implement AWS SQS and Lambda to decouple process flow
关于AWS SQS 和 Lamb function的实现得力于最近项目上的需求，需要了解一下关于AWS SQS的使用方法。不多说，先上overview design:使用场景：这次的study主要是为了解决之前项目上的一些pain point. 当Batch jobs 被触发时，API 到 IBM Sterling之间会做很多处理来将documents 生成出来并且分发给不同的客户。 在这...
2019-02-13 12:55:58
395
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人