源表含时间戳、做逻辑删除的情况，数据同步ETL方案分享

最新推荐文章于 2023-05-08 17:11:58 发布
最新推荐文章于 2023-05-08 17:11:58 发布
阅读量2.3k 收藏 2
点赞数
分类专栏： ETL工作
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tulinying/article/details/50975960
版权

要求至少半小时会同步一次数据。

下面是我的方案图。

我觉得比较鸡肋的是，我的stage库表里每次存的只是本轮同步中新增的数据，若本轮没有任何新增的数据，那么stage对应的表就是空的。

其实一开始我很想设计出一个source表的副本库，存的是一模一样的数据。但是想到这个副本库可能要经历全删全增，频繁的短时间的读写会带来整体的性能下降，我就放弃了。

还想把stage库作为2次开发库，通过它能整合出新数据，但想得太天真了。欢迎讨论、请求指导教育~






tulinying
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ETL，根据时间戳进行增量更新实例
11-08
ETL，根据时间戳进行增量更新，建立在源表没有时间戳字段的基础上
数据仓库ETL工具箱——提交事实表（二）
will001449的博客
08-13 469
装载数据 新表的首次加载需要处理一次加载极大量数据的情况，在ETL系统中通常进行以下处理： 单独处理数据插入 利用批量加载工具 并行加载 最小化物理更新 在数据库外进行聚合 ETL过程应该最小化那些通过数据库批量加载所完成的更新和插入操作。如果需要大量的更新，应该通过批量加载工具截断和重新加载整个事实表。当更新量很小时，分离那些需要更新的记录，对其单独的处理。 在数据仓库中，数据量不大时采用全量的快照装载，当数据量过大时一般使用增量装载，这也是在数仓中最常用的装载方式。增量加载用于周期性的加载
数据仓库(四)之ETL开发
知行合一
09-16 5万+
概述 ETL是数据仓库的后台，主要包含抽取、清洗、规范化、提交四个步骤，传统数据仓库一般分为四层模型。                            分层的作用                                                                         STG层  在维度建模阶段已经确定了源系统，而且对源系统进行了...
实时同步，增量ETL方案分享（源表含时间戳，做逻辑删除）
你不是一个人在战斗～～
03-17 1万+
数据源、中间库、目的库均为MySql，ETL工具为kettle(General Availability Release-Version 6.0.1.0-386) 1.源表有一个updated_time时间戳字段，java代码中每更新一条数据，就会用当前时间更新该时间戳。源表只做逻辑删除，即数据的status字段值置为0。 2.我的方案如下： 2.1暂定源表到目的表不做任
数据同步 模式汇总
wahahaman的博客
12-24 4109
目录 1 全量同步 1.1 全表覆盖 1.2差异更新 2 增量同步 2.1时间戳 2.2触发器 2.3日志解析 BeeDI支持全量及增量数据同步功能，可定时或实时保持目标与源端数据一致。 1 全量同步 将源表全部数据（或满足特定过滤条件的部分数据）同步到目标表，当源表数据量较大时，同步时间较长。依据同步前是否删除目标表已有数据可选择全表覆盖或差异更新方式。 1.1 全表覆盖 在同步数据前首先删除目标表已有数据（或依据过滤条件删除特定数据），然后将源表数据批量写入目标表。 全....
ETL学习笔记之二 实现篇（转）
Daniel_Sui的专栏
03-19 1061
实现ETL过程，一般可以从以下四个方面考虑：  （一）、准备区的运用(ODS)  在构建数据仓库时，如果数据源位于一台服务器上，数据仓库在另一台服务器端，考虑到数据源Server端访问频繁，并且数据量大，需要不断更新，所以可以建立准备区数据库(ODS)。先将数据抽取到准备区中，然后基于准备区中的数据进行处理，这样处理的好处是防止了在原OLTP系统中频繁访问，进行数据运算或聚合等操作。如
Mysql 实现多种逻辑删除方案
HONGcheng930728的博客
11-17 3630
Mysql 实现多种逻辑删除方案新增逻辑删除字段方式多deleted值deleted: 0 代表未删除，删除时把deleted赋值为时间戳UNIX_TIMESTAMP(NOW())采用备份表方式 最近在做公司项目的时候，对于表的逻辑删除，和其他同事出现了不同意见，故查阅了一些blog,结合自己的实际情况，再次做了笔记，以备后查。 在实际的项目开发中，对于某些业务数据，一般都不会采用物理删除的方式，...
MySQL中使用delete_at（时间戳）作为逻辑删除标记时如何使用MyBatis-Plus逻辑删除组件插入时间戳，以及如何解决自动填充失效的问题
SuperWei的博客
05-08 1691
这篇文章介绍了如何在MySQL中使用delete_at字段作为逻辑删除标记，以及如何使用MyBatis-Plus的逻辑删除组件和自动填充功能。文章首先解释了使用delete_at字段的优势和场景，然后给出了使用@TableLogic注解的代码示例，最后讨论了如何解决自动填充功能失效的问题，并给出了相关的版本信息和参考链接。文章的目的是帮助读者理解和使用MyBatis-Plus的逻辑删除和自动填充特性。
Layui数据表格中时间戳数据转化为时间格式的几种方法
01-08
在使用Layui框架数据表格组件进行数据展示的时候，往往从后台得到Json数据，其中包含时间数据时往往为时间戳格式 ，直接将时间戳格式的数据显示到VIew上是很不友好的(如下图)，所以我们需要将时间戳数据格式进行转化...
KETTLE时间戳-源数据未带时间
01-23
在两个数据库之间进行时间戳数据同步，本kettle脚本适合源数据库未带时间
删除数据同步ETL脚本案例.zip
12-11
数据治理全量、增量同步解决方法中， 通过删除操作记录方式，可以完全保证数据的一致性问题。 数据治理全量、增量同步解决方法中， 通过删除操作记录方式，可以完全保证数据的一致性问题。
KETTLE时间戳-源数据自带时间
01-23
在两个数据库之间进行时间戳数据同步，本kettle脚本适合源数据库已带时间
Kettle根据时间戳同步数据的例子
06-20
Kettle根据时间戳同步数据的例子，本例同步双方的表结构一致，如果是不一致的表结构需要自行另做调整
Etl同步作业优化
qq_43308318的博客
03-16 559
## Etl同步作业优化 · --- ···随着开发过程中实现的功能越来越多，算法越来越复杂，需要处理的数据也是越来越多，每次ETL过程所需要的时间不断增长，无法满足每半小时同步一次的需求。没办法减少需求和数据量，只能优化解决。 --- ···开始优化之前先分析了一下整个ETL过程。发现大致可以分为两类操作。一类操作是直接从数据源拷备数据到目的数据库，一类是从数据源获得原始数据在ETL过程中进行计算再把结果存到目的数据库中。 --- ···从传输的数据量来看直接拷备的部分数据量比较小，需要
kettle 实时同步数据（插入/更新/删除数据）
热门推荐
fk478561641的博客
06-13 6万+
首先需要下载kettle工具，本人的环境为：jdk1.8。下载地址：https://jaist.dl.sourceforge.net/project/pentaho/Data%20Integration/7.1/pdi-ce-7.1.0.0-12.zip来接mysql数据库需要把mysql-connector-java-5.1.38.jar导入到解压后的lib文件中，并重启kettel。表同步为单...
【删除】什么时候我们需要软删除
weixin_44701862的博客
07-19 1157
软删除又叫逻辑删除，标记删除，删除后数据还具有意义的数据才需要做软删除功能这种方式并不是真正的从数据库表中把记录删除，而是通过特定的标记方式标记此记录已被删除（在查询的时候过滤掉此记录），这样用户在界面上看起来就像是数据真的被删掉了，然而事实上却是库里还在。在表里添加布尔类型的字段，标记该记录是否被逻辑删除。在表里添加删除时间（默认为null），如果有删除时间则表示此记录被逻辑删除，和第一种方式大差不差。将逻辑删除的数据插入到另外一个表里。.........
MyBatis-Plus解决逻辑删除与唯一索引的兼容问题
苦瓜爱coding
05-31 1475
处理使用 MyBatis-Plus 框架时的,既要使用逻辑删除功能,又要兼容数据库建立唯一索引的问题。 有些啰嗦，想找解决方案直接拉到最后。想了解细节可详细阅读。由于数据安全等原因,通常公司都会收回线上环境的 DELETE 权限不允许物理删除数据,所以通常使用逻辑删除,也就是增加一个逻辑删除的字段,用于标识数据已经删除了。日常业务中，经常遇到不能重复存在是业务数据(比如：电子发票数据，公司信息数据)。我们为了保证数据的唯一性，就需要给其建立唯一索引。 虽然唯一索引好用，但是结合逻辑删除使用就遇到问题了。假设
锂电池涂布模头，全球前7强生产商排名及市场份额.docx
最新发布
05-06
锂电池涂布模头，全球前7强生产商排名及市场份额
ISO IEC 21964-2-2018.pdf
05-06
ISO IEC 21964-2-2018.pdf
qt多线程通过比较数据源的时间戳来判断收到数据的一致性
05-26
在Qt中使用多线程来比较数据源的时间戳来判断收到数据的一致性，可以按照以下步骤操作： 1. 创建一个数据源类，该类负责生成时间戳并将数据发送给其他线程。 2. 创建一个比较类，该类负责接收不同线程发送的数据，并比较它们的时间戳。 3. 在主线程中创建数据源和比较类的实例，并启动它们的线程。 4. 当数据源发送新数据时，比较类将接收到它并进行比较。 5. 如果时间戳相同，说明数据一致；否则数据不一致。 下面是一个简单的示例代码，演示了如何使用Qt的多线程来实现上述步骤： ```cpp // 数据源类 class DataSource : public QObject { Q_OBJECT public: DataSource() {} public slots: void sendData() { // 生成时间戳和随机数据 QDateTime timestamp = QDateTime::currentDateTime(); int data = qrand(); // 发送数据 emit newData(timestamp, data); } signals: void newData(const QDateTime& timestamp, int data); }; // 比较类 class DataComparator : public QObject { Q_OBJECT public: DataComparator() {} public slots: void processData(const QDateTime& timestamp, int data) { // 比较时间戳 if (timestamp == m_lastTimestamp) { qDebug() << "Data is consistent"; } else { qDebug() << "Data is inconsistent"; } // 保存最新的时间戳 m_lastTimestamp = timestamp; } private: QDateTime m_lastTimestamp; }; int main(int argc, char *argv[]) { QCoreApplication a(argc, argv); // 创建数据源和比较器 DataSource dataSource; DataComparator dataComparator; // 创建线程并移动对象到线程中 QThread sourceThread, comparatorThread; dataSource.moveToThread(&sourceThread); dataComparator.moveToThread(&comparatorThread); // 连接信号和槽 QObject::connect(&dataSource, &DataSource::newData, &dataComparator, &DataComparator::processData); // 启动线程 sourceThread.start(); comparatorThread.start(); // 定时发送数据 QTimer timer; QObject::connect(&timer, &QTimer::timeout, &dataSource, &DataSource::sendData); timer.start(1000); return a.exec(); } ``` 在上面的代码中，数据源类使用了Qt的信号和槽机制来发送数据，并且定义了一个`sendData()`槽来定时发送数据。比较类使用了一个成员变量`m_lastTimestamp`来保存最近接收到的时间戳，并通过`processData()`槽来接收数据并比较时间戳。在`main()`函数中，我们创建了数据源和比较器的实例，并将它们移动到对应的线程中，然后连接了它们的信号和槽，最后启动了定时器来定时发送数据。 当运行上面的代码时，程序将每秒发送一个带有时间戳的随机数据，并在控制台输出数据是否一致的信息。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值