datastage问题汇总

转载 2012年03月22日 09:12:23

如果你使用Datastage7.5.x来做ETL,那么建议你先看下一IBM官方公布的已修正的BUG,
http://www-01.ibm.com/support/docview.wss?uid=swg21438499
个人看法:DS的BUG真是多啊!
遇到问题了,先去修正的BUG列表看看的,说不定又是什么BUG!

工作中用到了DS,也遇到了很多的问题,在此记录一下!不对的地方请高手斧正!

1.DS所在的操作系统
这次项目(银河ACRM)中DS采用的环境是借鉴了中投数据中心的经验,所以就选择了Red Hat Linux As 4 Update 8 x86_64 + Datastage 7.5.2.1。
后来,在解决问题的过程中从发行注记中发现这么一句话“Windows/Linux platforms are only supported on Intel x86 32-bit Processor”,
经验证:此次选择了在Linux X86_64上安装DS造成后续的一些问题!
以后安装软件,一定要看软件的发行注记哦!如果适用于32bit的系统,那就别选择64bit的操作系统了!
建议:Red Hat Linux As 4 Update 8 x86 + Datastage 7.5.2.1

2.complier的选择
在32位系统中你不会遇到这个问题!
因为选择了64位的系统,但是Datastage 7.5.2.1只支持32位的系统,所以在环境变量中的编译器部分做如下调整:
IBM官方给出的配置:
APT_COMPILEOPT:-O -fPIC -Wno-deprecated -c -m32 
APT_COMPILER:g++32 -m32 
APT_LINKER:g++32 -m32
APT_LINKOPT:-shared -32 -Wl,-Bsymbolic,--allow-shlib-undefined

我自己的配置:
APT_COMPILEOPT:-O -fPIC -Wno-deprecated -c
APT_COMPILER:g++32 -m32 
APT_LINKER:g++32 -m32
APT_LINKOPT:-shared -Wl,-Bsymbolic,--allow-shlib-undefined

3.Oracle lib的选择
因为是64位的操作系统,所以也就安装了Oracle 10g的64位客户端,在$ORACLE_HOME的目录下就有了lib,lib32两个目录,
DS是使用lib32的,所以在$DSHOME/dsenv的LD_LIBRARY_PATH中添加$ORACLE_HOME/lib32.

4.Oracle字符集转换的问题
在操作系统环境变量,DS环境变量中设定NLS_LANG,而且还要做字符集映射,
在/home/dsadm/Ascential/DataStage/PXEngine.752.1/etc/oracle_cs.txt 中增加:
GBK             ZHS16GBK
ZHS16GBK        GBK
第一列是DS内置的字符集,第二列是Oracle的字符集,依照这个说法那就不需要第二行了,这里我还是加上了!

5.DS共享内存调优
在DS8.1之前的版本,命令SHMTEST只在Linux 32-bit上才有效,在Linux 64-bit上选入无限循环,IBM已在8.1中进行了修复!
BUG修复地址:http://www-01.ibm.com/support/docview.wss?rs=14&uid=swg1JR32113,此处不再摘录!

6.DS连接到Oracle RAC
如果Oracle数据库使用了RAC,曾经叫做(Oracle Parallel Server,OPS),用于数据抽取的数据库用户在拥有其他权限的同时,必须拥有访问SYS.GV_$INSTANCE的权限。
另外,还必须在Datastage Administrator中,添加Project的环境变量,APT_ORACLE_NO_OPS = 1。

7.DS中Oracle用户的权限问题
DS使用oracle时候要对以下视图赋权限
DBA_EXTENTS
DBA_DATA_FILES
DBA_TAB_PARTITONS
DBA_OBJECTS
ALL_PART_INDEXES
ALL_PART_TABLES
ALL_INDEXES
SYS.GV_$INSTANCE (Only if Oracle Parallel Server is used or RAC)
datastage自带的联机帮助文档上说明这一点,
We suggest that you create a role that has the appropriate SELECT privileges, as follows:
CREATE ROLE DSXE;
GRANT SELECT on sys.dba_extents to DSXE;
GRANT SELECT on sys.gv_$instance to DSXE;
GRANT SELECT on sys.dba_data_files to DSXE;
GRANT SELECT on sys.dba_tab_partitions to DSXE;
GRANT SELECT on sys.dba_objects to DSXE;
GRANT SELECT on sys.all_part_indexes to DSXE;
GRANT SELECT on sys.all_part_tables to DSXE;
GRANT SELECT on sys.all_indexes to DSXE;
Once the role is created, grant it to users who will run DataStage jobs, as follows:
GRANT DSXE to <oracle userid>;

8.DS启动关闭
在datastage中使用uv -admin -stop关闭DS之前,要退出所有的客户端连接,必须使用ps -ef| grep ds来查看连接到DS的进程,找到PID用kill命令杀掉,
或者在director中清除掉所有的连接,之后再使用uv -admin -stop来关闭DS,否则存在DS连接的情况下关闭DS,使用uv -admin -start启动DS时,
可能无法启动dsrpcd如果尝试多次无法启动dsrpcd,请参考文章“Linux环境下Datastage的dsrpc追踪方法”;最后的办法就是重启机器!

9.抽取速度慢的问题
Datastage 7.5.2 抽取Oracle数据太慢,检查JOB日志发现,JOB运行时检查/home/dsadm/Ascential/DataStage/Configurations目录下的default.apt文件,
此文件用于用于指定DS的节点,一般是每个CPU对应一个节点,而我的文件中只有一个节点,依据CPU个数增加节点数,重启DS。
在此抽取时,监控JOB发现多个节点同时使用,抽取速度剧增!

10.MS SQL SERVER中TEXT类型转换
Datstage通过ODBC获取MS SQL Server的数据时,将text类型字段默认为Longvarchar,view data时出错,将以在自定义SQL语句中使用convert将text转化为varchar(4000),
并将字段类型改为varchar,否则会出现错误:DSP.Open GCI $DSP.Open error -100.

11.DS抽取抽取Oracle数据时默认将空格转换为NULL
Datastage 7.5.2.1中,DS中的Oracle Stage从Oracl抽取数据时,默认把空格转换为NULL,即使将DS环境变量中的APT_ORACLE_PRESERVE_BLANKS设置为True也无济于事。
经查找,IBM官方认为这是个bug,建议升级打补丁.
补丁地址:http://www-01.ibm.com/support/docview.wss?rs=14&uid=swg1JR33670
打补丁之前,请备份DS的整个目录,然后再打补丁!
我自己打补丁时,关闭了DS相关的所有进程,但是安装提示有错误,让去找系统管理员,但是查看/home/dsadm/Ascential/patches/patch_JR35216/log没有发现错误。
安装时的错误提示:
Upgrading the Stage ...
An error has occurred during DataStage initialization
Please contact the system administrator
Error code: 2   2
Done!
幸运的是重新启动DS,一切正常,而且通过设定DS环境变量中的APT_ORACLE_PRESERVE_BLANKS,就可以控制空格向NULL的转换了!
幸运是短暂的,打补丁之后,从ODBC抽取SQL Server数据的JOB报错了,看样子是因为补丁的问题!
错误信息:
main_program: Fatal Error: Fatal: Shared library (drsenu.so) failed to load: errno = (2), 
system message = (/home/dsadm/Ascential/DataStage/DSEngine/lib/drsenu.so: undefined symbol: DSCUVTextMark)
虽然打补丁之前有备份,恢复回去是没有问题的,所以先想想办法去解决的!
在网上找到了一个解决办法,相同的错误,只是别人遇到的是$DSHOME/lib/dsdb2enu.so: undefined symbol: DSCUVTextMark,那就试一下的!
地址:http://www.docin.com/p-42820466.html
先备份$DSHOME/etc/operator.apt文件,使用VI编辑该文件,将dscapiop dscapiop 1修改为dscapiop @dscapiop 1,保存退出!
关闭DS,重新启动!不知道为什么这么干!寻遍官方文档都没找到一点相关内容,网上给出的解决办法,当前问题是解决了,但是依据是什么呢?
会不会因此而产生其他的潜在问题?!
在这里鄙视一下DS!

12.JOB排错,开启详细日志输出
日志提示有警告,可是不知道是哪个stage提示警告,那么设置APT_DUMP_SCORE = TRUE,可以在log的警告信息中看到stage名称。
另外,还有一些选项用于log日志输出。
内存使用情况,APT_PM_PLAYER_MEMORY = TRUE
CPU使用时间,APT_PM_PLAYER_TIMING = TRUE
数据抽取条数,APT_RECORD_COUNTS = TRUE

13.DS性能调优
详见官方文档。
APT_DEFAULT_TRANSPORT_BLOCK_SIZE = 131072 改为 APT_DEFAULT_TRANSPORT_BLOCK_SIZE = 1048576
APT_BUFFER_MAXIMUM_MEMORY = 3145728 (3 MB) 改为 APT_BUFFER_MAXIMUM_MEMORY = 6291456 (6 MB)
APT_BUFFER_FREE_RUN = 0.5 改为 APT_BUFFER_FREE_RUN = 0.6

14.DS运行中发现的Oracle DB的问题
DS运行时,LOG日志报错,竟然都是TNS和ORA的错误,尤其是并行多个JOB时,有JOB失败。
请寻求DBA协助,做数据库的优化!

15.DS中对Oracle中特殊字符的处理(例如:# $)
DS_ENABLE_RESERVED_CHAR_CONVERT = TRUE 处理特殊字符#,$


16.Transformer stage中的substr功能
Transformer stage中的substr功能在抽取数据时,按字符对象截取字符,可是加载至目标库时,是按字节计算长度。
尤其是对含有中文的字段截取时,有些中文字符的最后一个字符被截成了乱码,在加载至目标表时报错,
可以在/home/dsadm/Ascential/DataStage/Scratch文件夹下bad文件中找到出错的数据条目。、
建议:
对于含有中文的字段,目标表的字段长度尽可能的与源表字段长度一致。

17.从MS SQL Server 2005抽取数据至Oracle时,中文乱码解决
NLS为GBK,view数据时正常,但是抽取至Oracle时,中文乱码。
在Transformer中把中文字段的extend都设置为unicode。

相关文章推荐

datastage 7.5.X 问题汇总

如果你使用Datastage7.5.x来做ETL,那么建议你先看下一IBM官方公布的已修正的BUG, http://www-01.ibm.com/support/docview.wss?uid=sw...
  • qidaoq
  • qidaoq
  • 2015年08月24日 22:19
  • 209

Datastage 作业运行不显示数据流状态和数据量问题解决

版本:IBM InfoSphere DataStage V11.3.1 操作系统:linux redhat 6.4 场景:最近开发环境,DS 作业运行不显示数据状态(即Link颜色变化以及数据...

DataStage7.5x2在win7下安装问题记录及解决

1、DS服务器端在WIN7上安装不上,在进行到33%的时候报: 问题原因:当前用户下不能注册license信息,需要进入到Administratior用户下进行安装。解决步骤:右键点击我的电脑,选择管...
  • nsj820
  • nsj820
  • 2011年06月26日 20:13
  • 2677

DataStage开发常见问题

Failed a keylookup for record DataStage作为一款极易上手的ETL工具,在国内占据着大部分的市场。但即使DataStage操作起来已经相当直观,且日志...

DataStage问题总结.doc

  • 2009年08月22日 13:46
  • 875KB
  • 下载

DataStage_问题处理大全.pdf

  • 2011年01月12日 15:59
  • 8.5MB
  • 下载

Datastage 8.7安装后启动was失败

按照安装教程安装虚拟机版的datastage 8.7后,使用命令启动was失败 infosrvr:~ # /opt/IBM/WebSphere/AppServer/bin/startServer.s...
  • pianzif
  • pianzif
  • 2014年03月04日 17:48
  • 3136

datastage中join,lookup,merge的区别

这三个组件网上看了半天也没内
  • pianzif
  • pianzif
  • 2014年04月29日 22:43
  • 2221

Datastage Routine示例---提取JOB错误信息录入到数据库

Datastage Routine示例——使用Routine提取JOB错误信息录入数据库 环境:Red Hat Linux AS 4 + Datastage EE 7.5.2 + Oracle 10...
  • wto3309
  • wto3309
  • 2012年10月09日 14:07
  • 2251

datastage dsjob命令

ETL调度中不乏要用shell脚本来运行DATASTAGE中的JOB,现测试一下DSJOB的用法然后总结一下(边测试边总结) dsjob -run [-mode ] PROJECT_NAME JOB...
  • pianzif
  • pianzif
  • 2014年05月30日 13:23
  • 3783
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:datastage问题汇总
举报原因:
原因补充:

(最多只允许输入30个字)