- 博客(11)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 DMETL4转换流程分支方法介绍
ETL数据流程处理经常会有转换中数据分支的用法，DMETL4中是如何实现流程数据分支的呢？1. DMETL4的流程分支是在输出配置上配置的上图是默认输出，即只有一条数据流出线路，未做任何分支；2. 分支可配合过滤条件使用，也可不使用过滤条件；上图是不使用条件进行分支方法，一般用于数据分发到不同的目的端，需要得到同一份数据；上图转换是配置了2条不同条件分支的转换流程，...
2020-04-02 23:12:10
217
原创 DMETL4文件触发感知功能介绍
DMETL4提供一种文件触发感知功能，属于一种调度功能，即：事件触发调度。功能可以这样描述：当设定的文件目录下感知到匹配的文件时，触发激活调度，调度执行设置到的作业或转换。使用示例：1. 打开文件触发感知功能参数 设置TRIGGER_FCHECK=1，重启DMETL服务器和设计器2. 先准备一个转换，功能是从TXT文件抽取数据，再装载数据到表TEST11里3....
2020-03-27 17:05:33
258
原创 DMETL4查看版本的几种方法
通常说DMETL的版本，指的是DMETL服务版本，需要和DMETL4客户端版本区分开。1. 设计器客户端上查看 帮助->关于，可以看到版本信息，如果DMETL服务器和设计器客户端再同一台机器上，那么当前版本号就是服务器和客户端版本。2. 在当前dmetl安装目录的dmetl.ini参数上查看版本号 这里看到的版本信息也同样只是本机的，如果DMETL服务器和设计器客...
2020-03-27 11:58:13
289
原创 ETL4的两种文件同步方法
结构化的数据包括数据库库表、视图、sql查询等得到的数据，xml、txt等结构化的文本数据也是结构化数据。这一类数据我们可以通过DMETL把数据通过字段映射、流程转换装载导结构化库表、文件等载体中。对于非结构化数据（比如文件夹、图片JPG、DOC）或者文件数据（xml、txt等），DMETL可以通过以下两种方式进行同步、传输的。有FTP服务器并开放FTP端口的情况下可以直接使用DMET...
2020-03-21 09:02:45
751
原创 DM8共享存储集群DSC
一、环境准备安装VM虚拟机 获取的VM虚拟机版本是12.1.0 build-3272444的，安装2台操作系统是CentOS 6.5的虚拟机。具体操作可以参考下面的文章，值得注意的是虚拟机网络连接需要配置成桥接模式，虚拟机单独设置IP，这样可以组网搭建DSC集群。如下图：安装VM操作系统https://blog.csdn.net/qq_39038465/article/detai...
2020-03-19 22:40:53
385
原创 DMETL4增量比对法数据同步
一、DMETL4增量比对法数据同步，是指借用转换中的增量比对组件实现数据同步的一种同步方式，是一种通过读取源表和目的 表后进行增量比对，计算出增量数据的方法。技术说明如下：1. 增量比对法数据同步实质上也是数据比较类同步，跟MD5比较法、影子表同步法严格意义上属于一个类型，但是增量同步效率 高的多；2. 增量比对法数据同步的核心关键技术就是排序和索引，排序...
2020-03-12 17:20:14
743
原创 DM外部函数使用介绍
一、DM外部函数介绍：DM7 支持自定义C、 JAVA 外部函数，能够在DM的sql中直接调用，就像数据库内部自定义函数一样。这种技术打通了与外部运行环境接口、通道。 这样的好处：（1）可以自定义更灵活的函数，实现一些暂时不支持的数据库函数特，用法十分灵活；（2）即使外部函数在执行中出现了任何问题，都不会影响到服务器的正常执行。 外部函数使用步骤DM 提供了 dm.ini参数 ...
2020-03-12 14:31:13
1931
2
原创 DMETL4通过数据集查找实现数据比对
介绍一种通过数据集查找组件的功能实现数据比对的方法，因为数据库查找不仅支持表、视图等数据库对象，同时也支持文本类的数据，所以此方法应用范围还比较广。具体方法如下：假设有两张待比较表PRODUCT和PRODUCT2我们借助数据集查找工具，通过数据集查找我们可以的到查找表比被查找表多或查找值不同的数据选择数据源 配置PRODUCT的查找信息，先选择匹配列PRODUCTI...
2020-03-07 12:08:00
319
原创 DMETL4连接microsoft sqlserver2008
DMETL4连接microsoft sqlserver2008，创建数据源连接时，经常会遇到连接不上的问题可能的报错信息：com.dameng.common.service.ServiceException: com.dameng.etl.api.DataAccessException: com.microsoft.sqlserver.jdbc.SQLServerException: 通过端口...
2020-03-07 11:44:47
363
原创 DMETL4简介及安装配置指导
1. 简介：DMETL(目前的版本是4.0)是达梦数据库有限公司在上十年数据处理经验的基础上，研制开发的具有自主版权的、商品化的数据集成软件，实现了对数据抽取、传输、整合、以及装载的一站式支持，是构建数据中心、数据仓库、数据交换和数据同步等应用的理想工具。同类型ETL工具有：informatic、kettle、datastage等等2. 应用场景a. 异构数据同步异构数据同步是指...
2020-02-27 17:17:08
828
原创 DMETL插入更新功能的使用介绍
1. 插入更新更能介绍：属于表目的组件的一个功能选项，经常用在无数据删除的情形下：目的侧不存在删除的、只有插入、更新的情况。2. 配置方法如下图：设置查找列3. 插入更新使用要点插入更新功能，有的情况下执行效率十分低下，要高效的使用起来需要注意。原因：查找列须是主键或唯一索引。下面以4个例子说明使用方法（1）查找列非主键、无索引源表：CREAT...
2020-02-25 21:04:57
412
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人