- 博客(63)
- 资源 (10)
- 收藏
- 关注
RSS订阅
原创 DPDI(Dispatch PDI)kettle调度管理平台 --介入前后的对比剖析
DPDI定义DPDI(全称Dispatch PDI)是一款基于Kettle的强大在线任务调度平台，凭借其高效与灵活性，专为调度和监控Kettle客户端生成的ETL任务而设计，是您的智能ETL任务调度专家DPDI特性支持Windows,Mac和Linux环境,一键完成部署,轻松实现智能化操作。配备美观易用的UI，提供便捷的可视化操作体验。支持属地化部署，精准满足您的特定业务需求。由三倍镜成员团队共同研发，确保平台的创新性和专业性。提供个性化定制服务，灵活适应市场变化。
2025-04-24 23:00:40
1798
原创 DPDI online在线调度系统环境部署
DPDI Online是⼀款基于Kettle的强⼤在线任务调度平台，凭借其⾼效与灵活性，专为调度和监控Kettle客户端生成的ETL任务而设计，是一款智能ETL任务调度专家
2024-08-08 10:02:31
1249
原创 DPDI Online在线kettle调度工具
DPDI online是基于kettle构建的一个高效、灵活的在线任务调度平台，专门用来调度和监控由Kettle客户端创建的ETL任务，支持多服务器多kettle版本运行
2024-08-06 12:56:32
14746
原创 上海工作：梦想之城的奋斗与收获
摘要： 上海作为国际化大都市，汇聚众多企业与行业，为求职者提供广阔机遇，但竞争激烈，需持续提升能力。工作节奏快、压力大，加班和通勤成为常态，而高薪资常被生活成本抵消。尽管挑战重重，上海的成长空间和回报仍吸引追梦者。这座城市以机遇与压力并存的特点，激励人们为梦想奋斗。
2025-07-30 10:57:00
276
原创 数据仓库深度探索系列：架构选择与体系构建
本文系统介绍了数据仓库架构的类型与关键技术组件。主要内容包括：1）常见数仓架构类型（数据集市、Inmon企业工厂、Kimball、混合型等）及其适用场景；2）经典数仓架构的四大层次（数据源、存储、处理、应用）；3）关键技术组件（ETL工具、存储技术、建模与可视化工具）；4）架构选择方法论，强调需平衡需求满足、技术可持续性、稳定性等要素。文章指出，没有最优架构，企业需结合业务特点、数据规模和分析需求选择最适合的方案，并持续优化以适应技术发展。
2025-07-30 10:29:10
787
原创 Oracle转Mysql建表脚本
该SQL脚本实现了从Oracle数据库到MySQL数据库的建表语句转换。主要功能包括： 从Oracle系统表中提取表结构信息（user_tables、user_tab_columns等） 进行数据类型转换（如VARCHAR2转VARCHAR、NUMBER转decimal/bigint等） 生成完整的MySQL建表语句，包含表名转换（添加edi_前缀）、字段定义、非空约束和注释 特殊处理了文本类型、数值精度、时间戳等数据类型 最终输出按表名和列ID排序的建表脚本 转换后的表结构包含表名、字段定义、注释等完整信
2025-07-25 13:58:52
229
原创 数据仓库深度探索系列 | 开篇：开启数仓建设新征程
【数据仓库建设开启企业数字化转型新篇章】数据仓库作为现代企业数据管理的核心基础设施，正从单纯的存储工具演变为支持复杂决策的战略资产。三倍镜团队推出"数据仓库深度探索系列"，从架构设计、实施管理到应用案例全方位解析，帮助企业构建高效数据体系。数据仓库通过整合多源数据、提升数据质量、支持深度分析，为企业提供统一决策视图，助力业务优化与创新发展。随着技术演进，数据仓库已进入智能化阶段，融合大数据与AI技术，成为企业数据价值挖掘的关键引擎。本系列将为企业数字化转型提供专业指导，推动数据驱动决策能
2025-07-25 13:08:30
1931
原创 DPDI：Kettle任务调度与管理的高效解决方案
DPDI是一款专为Kettle设计的任务调度与管理平台，弥补了Kettle在任务调度、管理和监控方面的不足。该平台提供一键部署、优雅界面、灵活部署等特性，支持多版本Kettle任务调度，具备任务监控、资源管理、预警管理等核心功能。DPDI采用自主研发技术，支持邮箱、钉钉和企业微信预警通知，可对接多种数据库，实现多服务器多版本任务运行。平台支持属地化部署，永久免费使用，同时提供付费咨询和定制开发服务，帮助企业高效管理Kettle任务，降低数据业务启动成本。
2025-07-16 09:38:03
1059
原创 DPDI实操演练第004讲-1分钟快速调度Kettle本地任务
摘要：DPDI调度管理平台为Kettle提供了高效的任务调度解决方案。用户只需1分钟即可完成本地转换任务配置：下载安装DPDI和Kettle，启动服务后登录系统，在资源管理中指定Kettle任务路径，配置任务参数（调度方式、内存等），最后启动任务并实时监控执行状态。DPDI的智能调度和预警功能显著提升了Kettle的任务管理效率，适用于各类数据处理场景。（150字）
2025-06-25 13:21:46
338
原创 国产调度神器来袭！免费、高效、超智能，Dispatch PDI 让数据处理飞起来！
在挑选 Kettle 调度管理平台时，Dispatch PDI 绝对应该成为你的首选。它免费、安全、高效、智能、稳定，还有强大的兼容性，几乎满足了一个优秀调度管理平台所有的标准。对于想要在数据处理上更进一步的企业来说，Dispatch PDI 就是一把钥匙，能帮你打开高效数据处理的大门。别再犹豫了，赶紧去试试吧！
2025-06-22 21:00:00
443
原创 高手谈单的721法则-销售就是搞定人
高手谈单的 "721法则"摘要（149字） 谈判高手运用"721法则"提升成交率：20%精力用于专业展示，包括定制方案、匹配案例和客户见证；70%时间专注建立信任，通过生活/工作/爱好话题拉近距离，并针对不同客户类型采用差异化沟通策略；10%资源处理客户异议，运用专业话术消除顾虑。配套十个谈判秘诀，包括掌握主动权、谨慎回应、策略开局等技巧，强调以合作共赢为目标，通过真诚赞美和灵活策略达成交易。核心是通过精准需求洞察与情感共鸣实现高效成交。
2025-06-17 15:38:50
382
原创 国产免费软件Dispatch PDI来袭！--三倍镜带来的新话题
国产数据调度工具DispatchPDI稳定版V2.0.4上线，由三倍镜团队基于Kettle自主研发，永久免费且功能无限制。该软件针对Kettle在任务调度方面的不足，提供了更灵活、可视化的解决方案，已通过1000+用户验证及国企安全测试。用户可通过官网或微信公众号获取Windows/Linux/Mac版本安装包，支持MySQL数据库资源库。针对常见问题，团队建议合理配置并行任务内存、检查日志级别设置，并组建了微信交流群方便用户沟通。作为国产替代方案，DispatchPDI正助力企业数字化转型。
2025-06-12 15:16:37
400
原创 Dispatch PDI(DPDI)kettle调度管理平台稳定版本，正式登场！
DispatchPDI v2.0.4稳定版正式发布，通过国企级安全验证，已获1000+用户认可。该ETL在线调度管理平台以安全可靠著称，现推出首支产品介绍视频，诚邀用户评价，后续将发布更多操作教程
2025-06-10 23:05:37
237
原创 Dispatch PDI V2.04 发布预告
Dispatch PDI V2.04即将发布，带来全方位功能优化 6月7日，Dispatch PDI V2.04将正式推出，这是一次功能强化与性能提升的全面革新。新版本新增首页任务失败概览功能，实时监控ETL调度异常；系统管理支持灵活配置日志保留时长和编码设置，解决乱码问题。同时修复了Linux环境下进程终止漏洞，优化了变量校验、任务编辑保存等稳定性问题，并提升了临时文件管理和资源库导出效率。社区版仍将保持永久免费，功能无限制。这一版本承载团队诚意，助力用户高效完成数据调度任务。
2025-06-03 15:56:12
695
原创 数据治理全攻略：释放数据资产的巨大价值
国际数据管理协会（DAMA）定义数据治理为：“对数据资产管理行使权力和控制的活动集合。国际数据治理研究所（DGI）则称其为：“一个通过一系列与信息相关的过程来实现决策权和职责分工的系统，这些过程依据达成共识的模型执行，该模型明确了谁（Who）能基于什么信息，在什么时间（When）和情况（Where）下，用什么方法（How），采取什么行动（What）。笔者认为，所有旨在提高数据质量的技术、业务和管理活动均属于数据治理范畴。
2025-04-18 16:21:19
866
原创 DPDI版本升级说明
在此期间，三倍镜团队秉持高度责任感，主动与用户保持高频沟通，针对用户反馈的各类问题，我们秉持“问题不过夜”的原则，迅速响应并隔天紧急发布修复版本，先后发布了v2.0.1和v2.0.2，以确保用户能够获得稳定、高效的使用体验。通过这几天的用户反馈与持续优化，我们进一步完善了自研的定时调度功能模块，这不仅为当前产品的稳定运行提供了有力保障，更为我们未来拓展其他产品功能奠定了坚实基础，例如调度 DataX、Hop等ETL工具。这一步骤不仅能够提升您的使用体验，还能为您的数据管理提供更多的灵活性和稳定性。
2025-04-04 20:47:55
958
原创 Dispatch PDI 社区版全新升级
Dispatch PDI是一款基于Kettle的强大在线任务调度平台，凭借其高效与灵活性，专为调度和监控Kettle客户端生成的ETL任务而设计。Dispatch PDI 具有以下特性：一键部署 支持Windows、Mac和Linux环境，一键完成部署，轻松实现智能化操作。自主研发 由三倍镜团队联合开发，拥有完整源代码知识产权，保障平台的创新性与专业性。优雅界面 配备美观易用的UI，提供便捷的可视化操作体验。灵活部署 支持属地化部署，精准满足您的特定业务需求。提供个性化定制服务，灵活适应市场变化。
2025-03-25 22:34:51
942
原创 Dispatch PDI升级预告
全新视觉设计，优化界面布局，带来更直观、更流畅的操作体验，大幅提升用户交互效率。修复Cron调度方式重复调用问题，确保任务触发精准到秒，提升调度可靠性。新增系统管理菜单，涵盖用户及功能权限配置，实现精细化权限管理。支持路径配置，快速获取ETL任务，任务管理更加便捷高效。优化仓库管理中的文件及文件夹路径选择，操作更加便捷高效。支持本地文件调度，不依赖资源库，调度方式更加灵活自由。官网：http://triplemirror.com/提供系统版本、版权信息等，方便用户快速了解系统详情。
2025-03-17 17:24:22
385
原创 三倍镜团队给您拜年啦！愿您在新的一年里，数据如龙腾四海，调度如鱼跃龙门！
过去的一年，DPDI的成长离不开每一位用户的陪伴和支持。新的一年，我们将继续努力，为大家带来更好的产品和服务。我们相信，在新的一年里，DPDI会变得更加优秀，也会给大家带来更多的惊喜。愿大家在新的一年里家庭幸福美满，身体健康，万事如意。让我们携手共进，共创美好未来！三倍镜团队给您拜年啦！愿您在新的一年里，数据如龙腾四海，调度如鱼跃龙门！
2025-01-27 15:36:59
531
原创 实操演练第003讲-数据通途:客户端连接SQL Server的完美攻略
SQL Server Management Studio (SSMS) 是一种集成环境，用于管理从 SQL Server 到 Azure SQL 数据库的任何 SQL 基础结构。SSMS 提供用于配置、监视和管理 SQL Server 和数据库实例的工具。使用 SSMS 部署、监视和升级应用程序使用的数据层组件，以及生成查询和脚本。
2025-01-21 13:12:48
1393
原创 数据处理与任务调度的双引擎：ETL工具PDI与DPDI调度管理工具的全面剖析
Dispatch PDI是基于PDI构建的一个高效、灵活的在线任务调度（Dispatch）平台。它允许开发人员和数据工程师以简单的方式定义、管理和执行定时的数据处理任务，是大数据环境中的ETL流程自动化的好帮手Dispatch PDI是一款基于PDI的强大在线任务调度平台，凭借其高效与灵活性，专为调度和监控PDI客户端生成的ETL任务而设计DPDI Online 具有以下特性多服务器多版本支持：无缝整合不同服务器和Kettle版本，确保任务执行兼容性和一致性。
2025-01-10 16:14:31
1195
原创 DPDI实操演练第002讲-最强三件套之Dispatch PDI+PDI+PRD生成DPDI应用数据库数据字典
PDI也称为Kettle,PDI是利用Spoon设计器设计转换(Transformation)和作业(Job),转换主要是针对数据的各种处理,⼀个转换⾥可以包含多个步骤(Step),作业是处理流程,⼀个作业⾥包括多个作业项(Job Entry),⼀个作业项代表了⼀项⼯作,转换也是⼀个作业项。资源管理->连接配置、修改数据库URL（IP，端口，数据库Schema）->新增->选择数据库类型->填写数据库名称、数据库描述、数据库用户名、数据库密码->点击测试连接->测试连接成功点击确定完成数据库连接配置。
2024-10-31 15:50:09
1802
原创 DPDI实操演练第001讲--手工调度本地PDI任务生成日期维度数据
DPDI Online 您的智能ETL任务调度专家DPDI Online 是一款基于Kettle的强大在线任务调度平台，凭借其高效与灵活性，专为调度和监控Kettle客户端生成的ETL任务而设计DPDI Online 具有一下特性多服务器多版本支持：无缝整合不同服务器和Kettle版本，确保任务执行兼容性和一致性联合开发：由三倍镜成员团队共同研发，确保平台的创新性和专业性灵活部署：支持属地化部署，满足您的特定业务需求定制化开发：提供个性化定制服务，以适应不断变化的市场需求。
2024-10-24 16:56:36
961
原创 Dispatch PDI发布新版本了
我们很高兴地宣布，Dispatch PDI的全新轻量级版本现已在官网上线！这款专为高效ETL任务调度和监控设计的平台，将为您的数据处理带来前所未有的便捷。轻量版不含Kettle客户端，如需Kettle客户端，请与我们联系，我们将提供百度网盘的下载链接。如在下载、部署或使用过程中遇到任何问题，欢迎随时联系三倍镜团队。加入三倍镜，让我们助您一臂之力，共同开启数字化转型的新篇章！我们承诺成为您坚实的后盾，确保您能够顺利使用新版本。关注官网的最新动态栏，了解本次更新的详细信息。使用手册和最佳实践也可在官网找到。
2024-10-22 11:54:32
291
原创 DPDI基础版安装部署说明
DPDI online部署包下载地址：Windows: http://files.pizzalord.site/api/public/dl/7Tnq6ScE/release/dpdi-community-win.zipLinux: http://files.pizzalord.site/api/public/dl/otCt9WuI/release/dpdi-community-linux.zipDPDI应用部署支持windows和Linux环境部署，采用运行脚本一键启动，结合web页面引导完成部署，部署方式
2024-09-10 17:15:20
938
原创 DPDI Online在线kettle调度系统升级内容
DPDI online是基于Pentaho Data Integration构建的一个高效、灵活的在线任务调度（Dispatch）平台。它允许开发人员和数据工程师以简单的方式定义、管理和执行定时的数据处理任务，是大数据环境中的ETL流程自动化的好帮手
2024-08-15 17:32:27
234
原创 DPDI online在线kettle调度工具环境部署升级
DPDI Online 是一款基于Kettle的强大在线任务调度平台，凭借其高效与灵活性，专为调度和监控Kettle客户端生成的ETL任务而设计
2024-08-15 17:28:14
5114
2
原创 DPDI online
DPDI online是基于kettle构建的一个高效、灵活的在线任务调度平台，专门用来调度和监控由Kettle客户端创建的ETL任务，支持多服务器多kettle版本运行
2024-08-09 10:52:07
309
原创 DPDI online在线调度系统介绍
DPDI Online 是一款基于Kettle的强大在线任务调度平台，凭借其高效与灵活性，专为调度和监控Kettle客户端生成的ETL任务而设计
2024-08-08 10:21:51
13240
2
原创 再谈kettle两种循环之--调用http分页接口循环获取数据
总结：循环的设计可以解决循环1内存溢出的问题，该设计关键在于需要在job中勾选GET_HOUSE_DATA转换的两个勾以及设置参数传递（Options 下的Execute every input row和Parameters下的Copy results to parametes）循环job可参考，变量运用可参考，调用http分页接口循环获取数据可参考，生成连续记录可参考，MD5加密可参考。表输入：这里采用数据库连接，运用sql的方式生成http接口调用信息，框出来部分是循环变量替换的关键设置。
2024-06-26 16:08:31
4295
原创 kettle安装文件下载(含多版本)
kettle是一款基于java开发的洗数工具，可以通过图像化的操作界面，拖拉拽的操作方式，实现数据导入导出清洗等功能，还支持编写脚本进行数据处理，功能十分强大。本文主要记录一下kettle各版本下载路径。
2024-06-25 15:31:47
8142
原创 kettle实时增量同步mysql数据
*Debezium介绍官网地址：https://debezium.io/documentation/Debezium是一个开源项目，为捕获数据更改(Capture Data Change,CDC)提供了一个低延迟的流式处理平台，通过安装配置Debezium监控数据库，可以实时消费行级别row-level))的更改。作为一个分布式系统,Debezium也拥有良好的容错性Debezium支持数据源：MySQL,MongoDB,PostgreSQL,Oracle,SQL Server等。
2024-06-14 14:40:51
1467
1
原创 Linux部署调度工具xxl-job
所以大家在实施kettle作业调度功能的时候，通常采用以下几种方式：使用spoon程序来启动Job，使用crontab或计划任务，自主开发java程序来调用kettle的类库。 xxl-job是一个分布式的任务调度平台，其核心设计目标是：学习简单、开发迅速、轻量级、易扩展，现在已经开放源代码并接入多家公司的线上产品线，开箱即用。xxl是xxl-job的开发者大众点评的许雪里名称的拼音开头。读后有疑问请加QQ群！作者个人qq:420773639。如内容有错欢迎大家指正！3. 部署maven环境。
2024-06-04 15:50:59
2048
1
原创 mysql日期格式说明
V:周(01-53)星期日是一周的第一天，与%X使用。%v:周(01-53)星期一是一周的第一天，与%x使用。%r:时间，12-小时(hh:mm:s5AM或PM)%X:年，其中的星期日是周的第一天，4位，与%V使用。%x:年，其中的星期一是周的第一天，4位，与%V使用。%T:时间，24-小时(hh:mm:ss)%U:周(00-53)星期日是一周的第一天。%u:周(00-53)星期一是一周的第一天。%d:月的天，数值(00-31)%e:月的天，数值(0-31)%m:月，数值(00-12)
2024-04-15 17:14:38
647
原创 kettle介绍-Step之Script Values/Mod(JavaScript 代码) 一
JavaScript 代码步骤提供了一个用户界面，用户可以编写 JavaScript 代码到脚本区，脚本区域中的每一行代码都会执行一次，该步骤具有两个窗格和一个表Step name：步骤的名称，在单一转换中，名称必须唯一：该步骤中创建的 JavaScript 脚本：插件内置常量，用于数据行流程控制- SKIP_TRANSFORMATION：从输入行集中排除当前行，然后继续处理下一行- ERROR_TRANSFORMATION：从输入行集中排除当前行，生成错误，并且不处理其余所有行。
2024-04-15 15:52:38
1654
原创 kettle介绍-Step之Return steps metrics
转换步骤信息统计步骤可以用于统计当前转换中的其它步骤信息，包括步骤执行后的输入行数、输入行数、读入行数、更新行数等。此步骤可以直接拖入转换中，不需要连接其它步骤，手动填写需要进行统计的步骤名称即可。
2024-04-10 15:58:06
538
原创 kettle介绍-Step之REST Client
REST 客户端转换步骤可以消费 RESTful 服务。RESTful 是一种网络应用程序的设计风格和开发方式，基于 HTTP，可以使用 XML 格式定义或 JSON 格式定义。在该体系中 Web 服务被视为资源并且可以通过其 URL 进行标识，该步骤有常规、认证、SSL、标题、参数、矩阵参数六个标签页。
2024-04-10 14:49:59
3121
原创 kettle介绍-Step之Abort
中止步骤用于读取指定行数之后停止读取剩余行数，可以用于调试转换Step Name：步骤的名称，在单一的转换中，名称必须唯一：指定行数，转换读取到指定行数的后一行，就停止读取剩余行集数据：指定信息内容，中止读取行集数据之后以步骤错误日志的形式显示在日志中：勾选之后会将中止之前的行集数据显示在日志中：勾选后，读取到Abort threshold中设置的中止记录值处中止该转换，并且行集数据将无法输出到流中。
2024-04-09 09:41:27
630
原创 kettle介绍-Step之Value Mapper
值映射步骤是将字符串值从一个值映射为另一个值。值映射步骤提供了一个简单的替代方法，在输入流中选中一个字段，通过字段值设置源值和目标值，再将映射值输出给后续步骤使用。如：值映射步骤可以和表输入步骤、表输出步骤一起使用，对表输入步骤中的字段值进行映射后，输出给表输出步骤插入到目标字段Step name：步骤的名称，在单一的转换中，名称必须唯一：下拉框选择输入步骤中需要值映射的字段名称，此项为必填。
2024-04-09 09:31:28
634
原创 kettle介绍-Step之Write to log
写日志步骤是将输入步骤的信息打印在日志窗口，供用户直接查看Step name：步骤的名称，在单一转换中，名称必须唯一。Log level：设置日志的显示级别。没有日志(Nothing)：完成没有任何日志输出。错误日志(Error)：只输出错误信息。最小日志(Minimal)：只输出打开转换、开始执行转换、转换完成和错误信息。基本日志(Basic)：每一个步骤执行完后输出一条统计信息，默认是基本日志。详细日志(Detailed)：每一个步骤都会输出开始、结束等信息。
2024-04-07 14:57:49
987
kettle Debezium插件
2024-06-14
XXL-JOB资源文件
2024-06-04
kettle实现SQL关联查询
2024-04-03
kettle连接需要的jar包.rar
2019-10-10
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人