【kettle】实现MongoDB集合之间的数据增量更新

已于 2023-10-28 02:15:35 修改
阅读量2.7k 收藏 5
点赞数 2
分类专栏： kettle mongodb 文章标签： mongodb kettle
于 2022-03-23 14:54:14 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38930129/article/details/123686088
版权
本文介绍了如何利用Kettle工具进行MongoDB集合之间的数据增量更新。首先，通过MongoDB Input步骤添加并配置数据库连接，设置查询条件以根据日期进行增量更新。接着，配置MongoDB Output步骤获取集合字段。注意字段类型的正确识别和设置，以及在启动时要设定变量参数值。
摘要由CSDN通过智能技术生成
MongoDB input
1、添加步骤

在这里插入图片描述

2、Configure connection配置

  • 配置数据库连接信息
    在这里插入图片描述

  • 3、源数据库名、集合名
    在这里插入图片描述

  • 4、设置查询条件（这里是对CurrentTime日期的数据进行增量更新）

    • Query 进行增量更新，其中CurrentTime为变量
    • 参考：https://www.aboutyun.com/forum.php?mod=viewthread&tid=19941&ordertype=1
    • 更多了解官方链接：https://help.pentaho.com/Documentation/9.1/Products/MongoDB_Input
    • 注：CurrentTime为变量名称，不是当前时间值，后续可手动配置
最低0.47元/天 解锁文章
kettle从入门到精通 第四十六课 ETL之kettle mongo input查询
zhangjin1222的博客
02-23 1316
MongoDB（简称Mongo）是一种开源的文档数据库管理系统，它采用了非常灵活的文档模型，可以存储和处理各种类型和结构的数据。MongoDB是一个面向文档的数据库，意味着它的数据存储在称为文档的BSON（二进制JSON）格式中。Read preference（针对集群配置）：指定首先读取哪个节点：主节点（primary）、首选主节点（primary preferred）、从节点（secondary）、首选从节点（secondary preferred）或最近节点（nearest）。留空以永远不终止连接。
kettle spoon判断增量更新_「实战」使用 Kettle 工具将 mysql 数据增量导入到 MongoDB 中...
weixin_42113794的博客
01-07 371
每一个成功人士的背后，必定曾经做出过勇敢而又孤独的决定。放弃不难，但坚持很酷~最近有一个将 mysql 数据导入到 MongoDB 中的需求，打算使用 Kettle 工具实现。本文章记录了数据导入从 0 到 1 的过程，最终实现了每秒钟快速导入约 1200 条数据。一起来看吧~一、Kettle 连接图简单说下该转换流程，增量导入数据：1)根据 source 和 db 字段来获取 MongoDB 集...
kettle增量更新
u013008898的博客
02-20 426
主流程
kettle 连接mongodb
weixin_41504807的博客
07-26 154
数据库,go相关学习资料：https://edu.51cto.com/video/655.htmlhttps://edu.51cto.com/video/4196.htmlKettle 连接 MongoDB 指南：初学者入门 作为一名经验丰富的开发者，我很高兴能帮助你学会如何使用 Kettle 连接 MongoDB。K...
kettle和MongoDB之间的数据同步
一锅粥
10-18 6763
最近有一个调优的项目设计到MongoDB数据转移到Mysql库进行数据分析。 以下是利用kettle对数据的转换的介绍： 1：MongoDb的查询：   主要是基于json格式：具体的查询可以见连接MonGoDb的查询语句。   数据集是  由于带有时间戳timestamp,可以在kettle中基于时间戳对其增量读取。 2：kettle对于这种非关系型的数据库的设置主要是利用big
kettle连接mongodb input
最新发布
weixin_41395819的博客
07-26 82
数据库,go相关学习资料：https://edu.51cto.com/video/655.htmlhttps://edu.51cto.com/video/4196.htmlKettle连接MongoDB的详细教程 作为一名经验丰富的开发者，我很高兴能分享如何使用Kettle连接MongoDB数据库。Kettle是一个开...
备份集过期时间_MongoDB全量/增量的备份/恢复
weixin_39866817的博客
11-28 399
MongoDB现有备份恢复方案：1. mongodump/mongorestore(BSON)2. mongoexport/mongoimport(JSON，CSV)3. MongoDB cloud service Atlas(incremental backup/snapshot)4. Filesystem Snapshots(lvm,Amazon’s EBS storage syst...
Kettle同步MonggoDB超详细
Jmayday
02-08 3251
kettle数据同步
使用Kettle增量抽取MongoDB数据实践
12-14
在本实践案例中，我们将探讨如何使用Kettle工具来实现MongoDB数据的增量抽取，并将其加载到MSSQL数据库中。Kettle，又称Pentaho Data Integration（PDI），是一个功能强大的ETL工具，它允许用户通过图形化界面设计和...
基于kettle实现pg数据定时转存mongodb
陈泽钦的博客
08-08 733
基于kettle实现pg定时转存数据到mongodb中...
kettle实战 : mongodb2oracle 操作示例
一只板栗的博客
05-06 1527
工具： 1.kettle 7.0 2.mongodb oracle 操作目的： 将mongodb中的数据同步到oracle数据库中便于统计。 步骤总图 mongodb 配置： 1.mongodb连接 配置 这里的username 和 password 需要能够访问对应的库 2.配置正确后 可以通过getdbs 查询到对应的库以及集合 3.这里是填写查询条件 此处可以...
ETL开源项目kettle总结
摸金校尉的博客
08-26 4531
Kettle 1、ETL概述 ETL数据抽取Extract、转换Transform清洗、加载Load到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。ETL是BI项目重要的一个环节 数据抽取是指从源数据源系统抽取目的数据源系统需要的数据。实际应用中，数据源较多采用的是关系数据库. 数据抽取的方式: 全量抽取类似于数据迁移或数据复制，它将数...
kettle使用MongoDB Input连接mongodb获取数据异常处理记录
htmljsp的博客
12-04 3475
kettle 使用 连接mongodb ，报错处理 com.mongodb.MongoCommandException: Command failed with error 16436: 'Unrecognized pipeline stage name: 'ADD_TIME'' on server 192.168.2.144:27017. The full response is { "ok" : 0.0, "errmsg" : "Unrecognized pipeline stage name: 'A
使用kettle采集并处理MongoDB数据库中的数据
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
07-07 4446
本实验任务主要完成基于ubuntu环境的使用kettle采集并处理MongoDB数据库中的数据的工作。通过完成本实验任务，要求学生熟练掌握使用kettle采集并处理MongoDB数据库中的数据的方法，为后续实验的开展奠定ETL平台基础，也为从事大数据平台运维工程师、大数据技术支持工程师等岗位工作奠定夯实的技能基础。1、掌握使用kettle采集并处理MongoDB数据库中的数据Ubuntu16.04、Java1.8、Kettle7.1、MongoDB3.6.2Kettle 中文名称叫水壶，该项目的主程序员MA
KETTLE如何实现实时的增量更新（两种方法）
热门推荐
糖糖糖糖糖先森
11-27 2万+
要实现实时的增量更新共有两种方法： 1.通过触发器。在要抽取的表上建立需要的触发器，一般要建立插入、修改、删除三个触发器，每当源表中的数据发生变化，就被相应的触发器将变化的数据写入一个临时 表，抽取线程从临时表中抽取数据，临时表中抽取过的数据被标记或删除。触发器方式的优点是数据抽取的性能较高，缺点是要求业务表建立触发器，对业务系统有 一定的影响。 2.通过时间戳。我
kettle教程---增量更新
weixin_44846436的博客
12-13 2535
以下操作都在5.0.1版本下进行开发，其余版本可以进行自动比对 在平时工作当中，会遇到这种情况，而且很常见。比如：增量抽取(每隔2个小时抽取截至到上次抽取时间的记录) 一、操作前提： 存在3张表，源表（t_student），同步日志表（t_tbrz），插入表（t_target_student），表结构如下图所示 学生表 同步日志表 待插入学生表 二、kettle操作 1）如上图所示，需要4...
Kettle中通过触发器方式实现数据 增量更新
weixin_30596165的博客
10-29 563
在使用Kettle进行数据同步的时候， 共有 1.使用时间戳进行数据增量更新 2.使用数据库日志进行数据增量更新 3.使用触发器+快照表 进行数据增量更新 今天要介绍的是第3中方法。 实验的思路是这样的，在进行数据同步的时候， 源数据表为A表， A表要对 目标表(target table) B 表和C表进行数据的同步更新。 即A表中的对应字段发生变化之后， ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值