ETL
文章平均质量分 93
英雄史诗
这个作者很懒,什么都没留下…
展开
-
到底什么是数据中台?
如今似乎人人都在提数据中台,但却不是所有人都清楚数据中台到底意味着什么。数据中台是只有大厂才需要考虑的高大上的概念吗?普通企业该不该做数据中台?数据中台的出现会给现有数据从业者们带来颠覆式的挑战吗?转载 2022-04-07 16:11:32 · 9082 阅读 · 2 评论 -
备机个别数据同步失败无任何显示|参数handlecollisions的作用
1.问题描述在备机侧,明明有几条数据同步不成功,但在ggserr.log和discard文件中都没有显示。2.handlecollisions参数的原因参数的作用:控制replicat进程是否自动处理数据重复或数据丢失的冲突。parameters to control whether or not Replicat tries to resolve duplicate-record and missing-recorderrors when applying SQL on the target.3原创 2020-06-13 15:11:05 · 332 阅读 · 0 评论 -
GoldenGate自动归档discard文件
1.背景GoldenGate重要的日志文件有2个:ggserr.log和discard文件。ggserr.log记录重要的日志,如进程启停、进程失败abend及响应ggsci命令的响应输出。discard文件,是丢弃文件,在备机端,同步环境没有问题的前提下,在执行具体某个sql时失败,会把执行失败的sql放入到discard文件。由此看出,discard文件很重要,是运维发现哪些表主从不一致的重要线索。2.当前环境的问题当前设置如下:discardfile ./dirrpt/rept01.原创 2020-06-13 15:01:54 · 1946 阅读 · 0 评论 -
GoldenGate:查看日志文件和trail中的事务
1、背景goldengate的基本原理是:按最简单的单项复制结构为例由3个模块构成:extract抽取、pump投递、replicat复制;2个文件trail:主机本地队列、备机远程队列。在主机侧:extract抽取redo中的事务,放到本地trail中;然后pump把本地trail投递到远端备机的远程trail。在备机侧:replicat读取远程trail,构造sql,在备机执行。完成复制。进程的失败无非是事务的失败。 因此学会查看流程中的事务信息,对维护极有帮助。2、从日志查看失败或当前原创 2020-06-04 12:37:16 · 1707 阅读 · 0 评论 -
informatica连接PostgreSQL
1)下载安装postgreSQL的odbc驱动infor默认没有psql驱动,但无论哪种数据库都支持odbc,故可通过odbc连接psql。 需要注意: 1.驱动要与操作系统(64位或32位)匹配 2.与目标数据库版本匹配,此例中目标psql版本9.0.4 可从官网下载,地址:https://ftp.postgresql.org/...原创 2018-09-10 20:15:45 · 2396 阅读 · 0 评论 -
GoldenGate(4)_问题答疑与部署中的错误记录
1实验1)修改不提交,如何同步? &:不提交不同步。应该的,具体实现类似事务控制就好。 根据修改数据、提交数据、trail文件修改时间来看,是提交后才捕获。 2)表结构修改,如何同步? &:同DDL同步。 3)存储过程、视图等对象修改,会否同步? &:同DDL同步。 4)DLL同步 &:在远端建触发器,捕获DDL到GGS_MARKER表; 当做普通数据传递到目标rmttrail原创 2017-10-19 20:18:13 · 2540 阅读 · 2 评论 -
GoldenGate(3)_DDL和Sequence同步
goldengate DDL同步、序列同步原创 2017-10-19 20:13:36 · 1029 阅读 · 0 评论 -
GoldenGate(2)_进程设置与常用操作
1进程1.1Manager管理器默认有一个manager,只需编辑参数。 1)管理器的作用 ① 启动OGG进程 ② 启动动态进程: ③ 启动收集进程 ④ 管理进程的端口号 ⑤ 实施trail的管理 ⑥ 创建事件、错误、阀值报告 参数:edit param mgrport 7809--port 管理器使用的端口,*必填dynamicportlist 7840-7849purgeo原创 2017-10-19 16:04:04 · 509 阅读 · 0 评论 -
GoldenGate(1)_概述与安装
概述作用及特点Goldengate提供异构环境间、事务数据的实时、低影响同步。具有以下特点:1. 非侵入:无触发器、无中间表、无时间戳、不查原库 2. 低影响:直接部署在源数据库,需要资源小 3. 高实时:处理能力高达160GB/小时;延迟10秒内 4. 异构:支持不同OS和DB 5. 可靠性和完整性:保证事务完整和顺序,失败自动恢复原理捕获:通过读取事务日志,在事务发生时捕获提交的事务。原创 2017-10-19 14:10:02 · 250 阅读 · 0 评论 -
informatica中Mapping Variable修改
Mapping variable是映射中的变量,可以在session中被修改并保存在资料库的变量。多用在数据增量抽取中。 1、映射变量的添加 &:顾名思义,是在Mapping中添加的。具体为:Designer中,Mapping菜单下,【Parameters and Variables 】中。 2、映射变量的赋值 &:用专门的变量操作函数:SETVARIABL原创 2017-09-05 15:46:23 · 2749 阅读 · 0 评论