ETL
文章平均质量分 51
自由的歌者
这个作者很懒,什么都没留下…
展开
-
ODI升级连接mysql数据库的驱动
ODI升级连接mysql数据库的驱动原创 2022-08-10 17:11:41 · 1207 阅读 · 1 评论 -
在odi采集工具(关系型到关系型数据库)
问题一:在源数据库为sqlserver中,标字段命名比较杂乱,有中文,下划线和其他符号,采用的转义是双引号;在mysql中,遇到同样的问题,则采用反单引号,问题二:利用odi抽取这两个关系型数据库,在odi中要在源数据库中将每个字段起一个别名,然后再在目标数据库那边也用别名,在insert into … values…语句中,别名放在values这边,into后面还是反单引号来转义。在这里插入图片描述...原创 2021-04-28 09:14:00 · 270 阅读 · 0 评论 -
BIEE迁移记录
BIEE迁移测试环境和正式环境一样,都要将迁移的目录进行备份,放到易于分辨的目录,迁移的目录东西有两个,一个是你新建仪表盘里面的各种分析和提示这个目录,还有一个是你的仪表盘所放置的目录,因为这里面放置的是映射关系,不能乱。第一步:登录到测试环境里面,点击目录。将自己做的那个目录归档,同时点上这两个,并放到规定目录里面,做好标记第二步:将所放到的仪表盘目录进行归档第三步:登录到正式环境里面,也将那两个目录进行归档备份:注意将正式环境的和测试环境的备份分清,分别放到两个目录下面:第四步:进入到bi原创 2021-02-08 17:20:05 · 179 阅读 · 0 评论 -
oracle 产品OGG
配置ogg实现数据增量详细教程第一步:配置数据库源端ogg的DDDC(负责将源端产生数据变化的文件拷贝到目的端ogg/dirdat目录下,会将该用户下的所有表变化记录拷贝)和EDDC进程(捕捉并抽取数据变化的文件到dirdat中)参数文件,注意:配置完后要将两个进程停止并启动,以用户名的维度去定义表,比较方便:RMTHOST是远程端ip,RMTTRAIL 是目的端目录,前缀加上rc结尾,这是对两个进程文件的里面内容的解读,方便理解;**第二步:**配置源端/dirdef/defgen.prm里面的表原创 2021-01-22 18:51:03 · 363 阅读 · 2 评论 -
streamsets问题总结
streamsets问题总结streamsets是一种纯开源的ETL工具,适用场景是不断递增的流式数据,基于原理识别业务逻辑上的增加来识别,实际上有个timer一直在循坏,但它并不是真正的主键,streamsets只是隐式地,不是真正地,最后还是要对于源表这种主键,删除与update不太行,通过另一个逻辑去处理,处理起来比较复杂,它里面配置有一个offset,记录了你最后一次抽取id的值。streamsets 连接sqlserver2008R2 老版本上面遇到的问题sqlserver2008版本上支持原创 2021-01-10 18:40:59 · 799 阅读 · 2 评论