anywhere88的博客

原创 两种模式的数据服务解决方案

前置机/前置库模式数据服务解决方案交换平台模式数据服务解决方案[TurboDX应用]对于一个数据提供部门来说，通常的数据服务模式有几种：一是通过Web Service等方式提供请求/响应式数据服务；二是通常前置机/前置库的方式将数据汇集在一起，由数据需求方自行去获取；三是通过数据整合后将数据发送到数据交换平台，由数据需求方对接交换平台任务后获取。第一种模式暂不讨论，在此简述一下第二、第三种...

原创 CDC任务建立之后库表结构发生变化时的影响及解决方法

CDC任务建立之后库表结构发生变化时的影响及解决方法一、Oracle数据库二、MySQL数据库三、SQL Server数据库[TurboDX配置]一、Oracle数据库增加库表无影响。减少库表a) 运行中的相关任务无影响。b) 重启相关任务有时（没有进行“库表配置”操作时）会报错：XX表不存在。解决方法：重新配置任务。增加库表字段a) 运行中的相关任务无影响，但目...

转载 选用Kettle开源ETL工具应注意的问题

Kettle是一个Java编写的ETL工具，从4.2版本开始遵守Apache Licence 2.0协议，最新稳定版为7.1。。Kettle在2006年初加入了开源的BI公司Pentaho, 正式命名为：Pentaho Data Integeration，简称“PDI”。自2017年9月20日起，Pentaho已经被合并于日本日立集团下的新公司： Hitachi Vantara。企业版Kettle...

原创 顶层设计 ● 目标分解——信息中心工作的方向与建议

原创 数据处理服务系统简介

原创 三种数据库的CDC模式配置

Oracle数据库、MySQL数据库、SQLServer数据库等三种数据库的CDC模式配置命令。————[TurboDX配置]

转载 POC项目建设模式

POC项目建设模式一、POC的概念POC测试，即Proof of Concept，是业界流行的针对客户具体应用的验证性测试，根据用户对采用系统提出的性能要求和扩展需求的指标，在选用服务器上进行真实数据的运行，对承载用户数据量和运行时间进行实际测算，并根据用户未来业务扩展的需求加大数据量以验证系统和平台的承载能力和性能变化。特别是在应用系统选型阶段，一些大型企业的业务流程比较复杂，并非单一的功...