将changlog转换成为数据库的增删改查操作

已于 2022-03-15 11:18:25 修改
阅读量605 收藏
点赞数
分类专栏： Java基础知识 文章标签： java
于 2022-03-15 10:54:22 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_33409840/article/details/123497068
版权

经过我的测试验证，下面的实现方式是可行的。
1.将changlog转换成为ROW,ROW中存在ROWKind，设置rowkind，就可以完成相关数据的增删改查操作实现的。
hudi完成对应的数据的增加改查也是使用到flink的这种特性的。
下面是实现的流程图：

qq_33409840
关注
专栏目录
再谈 Flink 的“动态表”和“流表二象性”
Laurence的技术博客
03-18 1117
本文再次去动态表和表流二象性做一些梳理。1.将流转换为动态表。2.在动态表上计算一个连续查询，生成一个新的动态表。3.生成的动态表被转换回流。我们会从实际代码层面把动态表的概念打通，核心问题就是：动态表的 DDL 定义了什么？持续查询又做了什么？动态表的 DDL 定义了三项核心要素：数据结构，数据源（connector），传输格式（format）；从 ETL 的角度看，持续查询完成了最核心的 ETL 逻辑，从整个流式处理管道的角度看，是持续查询驱动了整个 Pipeline 运转，只有动态表的DDL，不会有任
Flink CDC 2.x changlog格式的使用【监听MySQL表变化并写入kafka示例】
penriver的博客
09-28 2162
为什么数据先进入kafka? MySQL 数据通过 Flink CDC 进入到 Kafka。 原因如下： 为了实现多个实时任务复用 MySQL 过来的数据， 避免多个任务通过 Flink CDC 接 MySQL 表以及 Binlog，对 MySQL 库的性能造成影响。 测试环境 flink 1.3.2 flink cdc 2.0.2 依赖的jar: flink-sql-connector-kafka_2.11-1.13.2.jar flink-format-changelog-json-2.0.2.j
版本控制利器——changelog
qq_22841387的博客
11-27 2886
使用工具来自动生成 changelog 和管理版本号，是一种高效的解决方案，可以帮助团队更好地管理项目版本和记录变更。通过本文的介绍，你可以轻松地将集成到你的项目中，并自动化地处理版本管理和变更记录的工作。这不仅节省了时间，还提高了项目管理的准确性和一致性。希望这篇文章能帮助你在项目中更好地实施版本控制和变更日志管理！
3. 什么是 Changelog 以及如何编写？
我的博客，不一样的自我表达
05-10 1810
但是，如果您和您的同事投入很多，并且可能同时在同一个项目中工作，那么您可能会失去正确的轨道。我们可以看到每个更新的一个 bloc，其中包含更新的日期、更新者的名称以及他们做了什么（在一行中和/或每个更新文件的详细信息）。在这里我们可以看到为项目创建的每个版本，以及添加、更改或删除内容的详细信息，以及每个类别中完成的内容。如果你想为你的项目或你的企业建立一个特定的标准，你可以！与此相关的是，我们可以添加更多信息，例如哪张票与其链接的更新相关…保留更新日志是一种新方式，它是您可以在开源项目中找到的主要标准。
如何快速创建 git 的 changlog
_
01-19 1679
创建脚本 changelog-generate.sh , 内容如下 #!/bin/bash # Generates changelog day by day NEXT=$(date +"%Y.%m.%d") CHANGELOG=./CHANGELOG.md rm -rf $CHANGELOG echo $CHANGELOG echo "# CHANGELOG" >> $CHANGELOG echo "----------------------" >> $CHANGELOG g
change log 的概念
JavaLive09的专栏
05-01 1451
产品： 每次发版，版本间
liquibase的changelog详解
qimowei的博客
01-19 7186
liquibase的changelog详解 转载自两位大佬的文章，原文链接：https://zhuanlan.zhihu.com/p/157714666https://blog.csdn.net/a112626290/article/details/104263790 二、changelog 详解 1.什么是changelog？ changelog 是 Liquibase 进行...
vb与数据库编程
weixin_46807151的博客
07-04 515
数据库的概念 数据库是按照数据结构来组织、存储和管理数据的仓库。 它可以存储大量的数据，并提供高效的数据访问和管理功能。 数据库的类型 关系型数据库：如 SQL Server、MySQL、Oracle 等，以表格形式存储数据，通过关系（如主键和外键）来关联不同的表。 非关系型数据库：如 MongoDB、Redis 等，采用不同的数据存储和访问方式，适用于特定的应用场景。 数据库管理系统（DBMS） 是用于管理数据库的软件系统，负责数据库的创建、维护、查询处理等操作。
spring framework changlog
02-25
spring框架的更新日志
优雅哥 SpringBoot 2.7 .2 实战基础 - 05 -使用 Liquibase 管理数据库版本
jh035的博客
11-29 275
Flyway和Liquibase。前者我没有在项目中使用过，所以本文就只讨论 Liquibase。使用 Liquibase 需要定义一堆 XML 文件，这些 XML 称为 changelog 文件。每个 changelog 文件中又包含多个变化集合 changeSet，每个 changeSet 记录了作者、改变的内容。changeSet 中要修改的内容，通过、addColumn等标签进行操作。通过这种 XML 文件的方式，就可以将代码版本与数据库版本关联在一起。
Liquibase逆向生成Changelog.xml
ZhangJunQi的博客
08-10 2731
一，Liquibase 项目主要目录以及依赖 1，首先数据库已经存在表（各种数据库都行，mysql,oracle） 例：oracle数据库 CREATE TABLE."ACT_EVT_LOG" ( "PROC_DEF_ID_" NVARCHAR2(64), "PROC_INST_ID_" NVARCHAR2(64), "EXECUTION_ID_" NVARCHAR2(64), "TASK_ID_" NVARCHAR2(64), "TIME_STAMP_" TIMESTAMP (6), "US
Change Log应该怎么写？
weixin_34034261的博客
07-11 1696
2019独角兽企业重金招聘Python工程师标准>>> ...
CHANGLOG
测试0901-1
06-05 493
{ "name" : "foo", "config" : { "port" : "8080" }, "scripts" : { "start" : "node server.js" } }
Changelog
BLOG域名:programb.blog.csdn.net
04-24 1646
Tomcat Home The Apache Software Foundation Apache Tomcat 8 Version 8.5.54, Apr 3 2020 Links Docs Home FAQ User Comments User Guide 1) Introduction 2) Setup 3) First webapp 4) Deployer 5) Manager 6) H...
前端自动生成Change Log的实现
BiuBiu_Tian(田)
09-28 3236
对文章的作者，我的同事黛妮表示感谢。我们一起完成了这篇文章。 这里附上原文的地址：https://www.yuque.com/rocket/rocket_doc/pyo2i1 开发目的 快速可交互的搭建生成Change Log更新日志，来提高自己的工作效率。 实现思路 要实现Change log自动生成，需要有脚本可以根据项目提交的commit自动生成Change log ，然后还有脚本自动生成版...
changelog 日志自动生成插件
weixin_34005042的博客
01-26 6333
功能 该工具针对一些需要手动输入更新日志的项目，实现自动化输出更新日志，并且对更新日志进行内容格式化，便于后期维护，目前主要有以下几个功能模块。 cz -- 定制化 git 提交 log -- 自动生成 CHANGELOG.MD 日志文件 lint -- 校验 commit 信息 安装依赖包 npm install jimi-web-changelog --save // or yarn ad...
[jenkins]-jenkins使用Changelog获取commit记录
热门推荐
爷来辣的博客
11-09 1万+
由于担心开发merge代码漏掉.因此想做一个根据是否有提交记录来判断是否merge.没有merge 依旧发布但是邮件通知运维. 首先选择了Changelog这个插件,但是这个插件在2.199版本的jenkins里安装了Git Changelog,这个插件但是好像不太对. 还是下载了github上的Changelog插件. 地址https://github.com/KrisMark...
hudi系列-changelog的读写
1032851561的博客
10-31 2721
hudi自身支持FULL & UPSERT 两种模式，两种模式分别在写入与读取有所差异。
Apache Hudi 0.9.0版本重磅发布！更强大的流式数据湖平台
xleesf
09-12 458
1. 重点特性 1.1 Spark SQL支持 0.9.0 添加了对使用 Spark SQL 的 DDL/DML 的支持，朝着使所有角色（非工程师、分析师等）更容易访问和操作 Hudi 迈出了一大步。 用户现在可以使用 CREATE TABLE....USING HUDI 和 CREATE TABLE .. AS SELECT 语句直接在 Hive 等目录中创建和管理表。 然后用户可以使用 INSERT、UPDATE、MERGE INTO 和 DELETE 语句来操作数据。 此外，INSERT OVERW
liqiubase如何添加数据表
最新发布
09-21
Liquibase是一个用于数据库版本控制和迁移管理的工具，它允许你在多种数据库系统之间管理和跟踪数据模型的变化。在Liquibase中添加数据表通常涉及以下几个步骤： 1. **创建实体（Entity）**：首先，你需要在应用程序代码中定义一个Java实体类（例如`User.java`），这个类通常映射到数据库表结构，包含字段、约束等信息。 ```java import liquibase.change.core.CreateTableChange; public class User { @Id private Long id; private String name; // 其他字段... public CreateTableChange toChange() { return new CreateTableChange() .withTableName("users") .withColumn(new ColumnDefinition("id", Types.LONG)) .withColumn(new ColumnDefinition("name", Types.VARCHAR)); } } ``` 2. **编写 changlog XML文件**：在Liquibase的changelog目录下，创建一个新的XML文件，比如`changelog_001.xml`。在这个文件里，你可以使用`<changeSet>`元素描述你的变更，包括创建数据表的部分。 ```xml <changeSet author="yourName" id="create-user-table"> <sql> CREATE TABLE users ( id BIGINT NOT NULL AUTO_INCREMENT, name VARCHAR(255), PRIMARY KEY (id) ); </sql> </changeSet> ``` 3. **运行 Liquibase**：通过命令行或者Spring Boot的自动配置，启动Liquibase，它会读取changelog中的更改，并按照顺序应用到数据库中，如果表不存在就会创建。 4. **监控状态**：Liquibase会对每个数据库的当前状态进行跟踪，并记录在元数据库中，这样每次更新只需对比新旧changelog，只对需要变化的地方做操作。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值