informatica笔记

最新推荐文章于 2024-08-05 09:30:07 发布

奇妙探险家

最新推荐文章于 2024-08-05 09:30:07 发布

阅读量1.8k

点赞数 1

分类专栏： informatica 文章标签： informatica

本文链接：https://blog.csdn.net/u013760453/article/details/90755425

版权

informatica 专栏收录该内容

9 篇文章 1 订阅

订阅专栏

创建新存储库需要在元数据库中创建新用户，该用户的schema将用来保存存储库的内容，创建存储库服务时要勾选上创建新内容，否则以后存储库只能为独占模式，无法修改为普通模式，另外不要勾选版本控制。

创建集成服务时数据移动模式为unicode，代码页要选择与操作系统一致的字符集（simple chinese），否则启动服务时会报SF34004错误；用户名密码为web端管理员的用户名密码，用户名为Administrator（注意大小写！）。

存储库、集成服务都有独占模式/普通模式、enable/disable的概念，修改配置时需要注意启停。

存储库与集成服务的对应关系在集成服务中设置，之后重启存储库与集成服务即可在workflow manager的存储库中看到（复制存储库后不可直接启动集成服务，否则会有一堆重复的任务同时运行，造成数据重复！！！！！）

presql/postsql执行顺序：整个Session初始化的时候，会先初始化所有的target，在初始化所有的target之前，会执行所有target的presql，session结束后会执行postsql，https://bbs.csdn.net/topics/350070161

签入签出：当一个列表项目或文档签出给一个用户，该用户可以对其进行操作，其他用户不能。其他用户必须等待该用户再次签入列表项目或文件后才能进行编辑，相当于对文件夹的synchronized。 https://blog.csdn.net/iteye_4195/article/details/82515048

备份：登录web版admin控制台，repo-action-存储库内容-backup，备份出的rep文件位于informatica安装目录下，可以搜索或者在操作-上一次活动日志中找到，也可以用下面的命令行backup备份。

可以将一个存储库的全部内容备份到新的存储库中，执行工作流使用的集成服务是在编辑工作流对话框中设置的，会一起导进来，需要打开编辑工作流--为每个工作流重新指定新存储库使用的集成服务，否则工作流将无法运行。

还原：https://www.docin.com/p-778311147.html ，需要改为独占模式，先删除旧的内容（action-repo contens-delete）（注意不是删除存储库本身！），再使用repo-操作-存储库内容-还原，也可以在新建的空存储库中restore。备份文件不在默认位置时需搬运到 $INFA_HOME/server/infa_shared/Backup/目录下才能在web console找到。（如果是异地还原，集成服务可能会失效，此时需要在workflow manager里服务-分配集成服务）

导出文件夹到xml，使用import object还原；backup时使用web console还原：

cd $INFA_HOME/server/bin
pmrep进入命令行，使用web console用户名密码连接到存储库
connect -r repo_name -d domain_name -n Administrator -x etl23

备份单个文件夹
objectexport -f From_TA -u /from_ta.xml

备份整个存储库
backup -o /opt/1.rep -b -j -q

创建映射后，在workflow manager中还需要配置映射！指定源表的所有者和目标表的目标表名，目标表存在主键约束的，需要将目标的target load type改为normal！

大表的处理：

去除index和主键，映射中target load type改为bulk，导完后再重建索引，后续增量导入；
分批导入。

连接SQLServer数据库：注意sqlserver自带的studio导出表结构可能不完整，在create下面可能还会有add column；sqlserver映射中无需配置source table name；

ODBC，注意informatica只支持32位ODBC，连接Greenplum使用postgre的ODBC即可：

postgre for windows下载地址：https://www.devart.com/odbc/postgresql/download.html
mysql for windows下载地址：https://dev.mysql.com/downloads/connector/odbc/

编辑映射创建ODBC型数据源或数据目标时，DSN必须配置为32位。

编辑工作流创建ODBC型关系连接时（常见数据库优先使用informatica内置的连接类型，避免使用ODBC！！），ODBC的连接字符串就是DSN配置的ODBC数据源名称，DSN必须配置为系统DSN且为64位；

在designer中的映射主要目的是设计流程，读取数据源也只是为了获取元数据（读到之后就与原来的odbc无关了，odbc改名不会有影响），真正操作哪些表是在workflow中通过配置关系连接和映射参数确定的，然后才成为一个可运行的实例。

表结构同步工具PowerDesigner安装：https://blog.csdn.net/sinat_34104446/article/details/79885141

覆盖更新昨日数据：在工作流映射配置的源中SqlQuery使用select from T where d_date >=trunc(sysdate-1);目标的preSql使用delete from T where d_date >=trunc(sysdate-1);

为文件夹创建新的连接管理器时一定要选好字符集UTF-8！否则中文会乱码

session执行成功但数据少了，可能是目标表的not null限制导致部分记录插入失败（此时session会显示成功），如果需要session报错，可在session配置中编辑-配置对象-stop on errors设为1

workflow中的连线一分多时表示开始并行，多合一时表示等待所有并行结束后开始串行。

基于超时的提交点：执行导入时总是到特定行数就停止，最后导致超时，是由于数据源中某字段存在特殊字符，从数据源读数据时到特定行就会终止读取。这种情况下可以在输入组件的source sql中使用select语句，只读取其他字段即可导入（可以使用二分法找到有问题的字段）--20190911。

启动informatica服务前一定要启动域数据库。

任务日志中报的sql错误可能发生在源端和目标端，排查时应该将sql复制出来在对应数据库中直接执行。案例：ORA-01427: single-row subquery returns more than one row 子查询返回不止一行错误，源sql从视图中取数，视图中的子查询报错了。

命令行修改域配置：$INFA_HOME/isp/bin/infacmd.sh UpdateDomainOptions -dn domain_1 -un Administrator -pd Administrator -do MasterDBRefreshInterval=20

每个集成服务运行时都可以使用不同的环境变量(甚至包括TNS、ODBC等)，选择集成服务-进程-选择节点上的进程，在最下面的"环境变量"中配置好，重启集成服务即可。

报错===============================================================================

存储库服务无法修改为普通模式，手动禁用服务+修改+启动服务，仍然是独占，是因为存储库是空的，需要重建存储库，勾选上创建新内容

集成服务无法启动，报代码页错误，需要重建集成服务，最后会跳出一个窗口选择代码页，是windows的选择ms gb2312（也可以在集成服务-进程-常规属性-代码页中修改）