![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
datastage
bfhai
ETL
展开
-
datastage Transformer中使用IsValidDate函数会引发警告
问题使用IsValid函数检查日期是否有效时,如果日期无效,该函数将引发警告。在DataStage 7版本和8.1版本中,没有警告,但在v8.5及更高版本中,出现警告。示例:场景1: StageVar = 20141231 If IsValidDate("2014-12-31") Then "Valid" else "InValid" 此时无日志警告场景2: StageVar = 20143112 If IsValidDate...原创 2020-05-14 17:38:55 · 698 阅读 · 0 评论 -
datastage db2 connector无法显示properties标签
DB2 Connector连接器缺失属性标签,原因是客户端计算机上安装了另一软件,该软件将ExGrid.dll升级到了与DataStage Clients不兼容的更高版本。解决方式有三种1.关闭datage客户端 在dos窗口中执行以下命令 regsvr32 C:\IBM\InformationServer\Clients\Classic\ExGrid.dll 其中C:\IBM...原创 2020-04-23 17:15:56 · 476 阅读 · 0 评论 -
使用DSEXPORT.exe导出带执行码的dsx文件
dsexport语法如下dsexport.exe /AF=authfile | /URL=domainURL /H=hostname [/U=username [/P=password]] | /D=domain /H=hostname [/U=username [/P=password]]/JOB=jobname/XML /EXT /EXEC /APPEND /NODEPENDEN...原创 2020-04-23 16:56:20 · 758 阅读 · 1 评论 -
datastage登陆报错之 Failed to authenticate the current user against the selected Services Tier
问题描述,新安装客户端后,客户端无法登陆,其他机器的客户端连接正常。检查hosts文件中机器名 ip已配置ping ip能正常ping通,但是ping主机名失败此时修改hosts文件中,将127.0.0.1 localhost 这一行的注释符#去掉ping localhost,得到结果如下此时localhost解析的是::1的地址,而上面配置的是127.0.0....原创 2018-12-17 22:24:34 · 3038 阅读 · 0 评论 -
datastage错误之Consumed more than 100,000 bytes looking for record delimiter; aborting
在DataStage处理比较大的列时,您可能看到的上图的错误消息“Consumed more than 100,000 bytes looking for record delimiter; aborting"原因:默认情况下,每个字段的最大长度(以字节为单位)是100,000字节。 其次,DataStage作业需要在单个块中传输每个记录。 块的默认大小为128KB。可以设置多个环境变量来...原创 2018-11-17 22:03:11 · 1296 阅读 · 0 评论 -
在datastage8.7版本使用truncate清空表,同时使用before语句时的坑
问题描述在datastage8.7版本中使用db2 connector往表中写入数据,Table action选择Truncate,同时在before sql中使用sql语句,对另一只表做DML操作;如果DML语句报错时,此时清空表的操作会异常中断,导致目标表出现SQLCODE=-1477,SQLSTATE=55019的错误,此时只能drop表后重建测试流程如下:新建两张测试表,并插入...原创 2018-11-21 17:32:58 · 919 阅读 · 0 评论 -
datastage中使用Pivot Enterprise stage实现行转列
一、行转列通过datastage实现输入数据如下:REPIDlast_nameJan_salesFeb_salesMar_sales100Smith1234.081456.801578.00101Yamada1245.201765.001934.22输出数据如下:REPIDlast_nameQ1salesPivot_inde...原创 2018-11-14 21:57:06 · 1030 阅读 · 1 评论 -
datastage join时无数据输出
join的两只输入都有数据,但是输出无数据,修改input的分区方式为hash分区即可原创 2018-11-05 21:08:36 · 419 阅读 · 0 评论 -
datastage中使用jdbc方式连接数据库(以oracle为例)
在datastage 9.12版本之后开始支持jdbc connector stage连接数据库,配置及使用方式如下1.配置驱动配置文件(IS_HOME/Server/DSEngine目录下,IS_HOME是 InfoSphere Information Server 的home目录)cd /opt/IBM/InformationServer/Server/DSEnginevi isj...原创 2018-11-09 10:02:36 · 3950 阅读 · 0 评论 -
datastage屏蔽警告信息
使用Datastage的Director可以对设计的Job进行验证、运行、任务调度和监控的工作。也可以针对Job的运行查看运行的聚合统计情况。开发过程中可能会因为数据原因出现一些警告信息,而这些警告信息又不方便消除,可抑制警告信息在director中,右键选中有警告的datastage作业,在菜单中选择viewlog进入log页面右键单击警告信息,在清单中选择Add rule to...原创 2018-11-23 16:08:32 · 706 阅读 · 0 评论 -
datastage8.7版本编译作业时报Failed to invoke GenRuntime using phantom process helper
编译作业时报如下错误导致此错误的可能原因包括:服务器/ tmp空间已满作业状态不正确。uvodbc配置文件的格式问题有问题文件DS_STAGETYPES损坏内部锁。问题排查登录 DataStage Administrator客户端. 选中作业所在的工程. 点击Properties按钮. 在Properties视图中, 点击Tracing标签 勾选Enable...原创 2019-07-11 10:08:56 · 1177 阅读 · 0 评论 -
Datatage中Parameter Set的使用
1.新建Parameter Set,File-->New视图下,选择Other-->Parameter Set,点击OK在General标签下输入参数集名称,参数集名称应该简短在Parameter中定义参数,参数名称需要具有可描述性2.新建测试作业,在Job Properties中,通过Add Parameter Set引入之前添加的参数集测试作业如下...原创 2019-06-13 11:18:09 · 2067 阅读 · 0 评论 -
解决datastage调用oracle存储过程时存储过程抛出异常而作业不中止的问题
创建测试表及插入测试数据create table TEST_20190523(COL1 varchar(20) not null,primary key(COL1));insert into TEST_20190523 values('A')insert into TEST_20190523 values('B')创建测试存储过程create or replace PRO...原创 2019-05-24 16:31:00 · 994 阅读 · 0 评论 -
使用DSXImportService.sh在Datastage服务端导入dsx文件
DSXImportService.sh在engine层ASBNode/bin目录下,默认安装路径为/opt/IBM/InformationServer/ASBNode/bin/,此脚本的作用是将.dsx文件导入到指定的存储库中语法如下:-ISFile <isFile> [-ISHost <isHost>[:<port>]] [-ISUser &l...原创 2019-04-19 17:30:40 · 1183 阅读 · 0 评论 -
datastage调用存储过程
创建测试表create table DB2INST1.PROC_RUN_LOG( ETL_DT varchar(8) not null, PROC_NAME varchar(50) not null, RUN_TIME timestamp);创建测试存储过程#PROC_TEST1CREATE PROCEDURE "DB2INST1"."PROC_TE...原创 2019-04-07 19:01:12 · 1699 阅读 · 0 评论 -
如何使用DataStage连接SAP HANA
在Datastage中需要通过ODBC的方式连接HANA。 HANA提供ODBC / JDBC驱动程序,这是SAP目前向HANA提供第三方访问权限的标准和唯一方式。 注意:SAP Pack无法通过SAP ABAP / BAPI / IDOC接口连接到HANA数据库。 以下是配置与HANA的连接的步骤:1.编辑uvodbc.config文件[ODBC DATA SOUR...原创 2019-01-15 12:01:53 · 1344 阅读 · 0 评论 -
DataStage系列教程 (Change Capture)
Change Capture可以比较具有相同列的数据集的差异,得出一个数据集(After)在另一个数据库(Before)的基础上产生的哪些变化。变化类型如表1:变化代码 变化 中文说明 0 no change 无变化 1 insert 新增 2 delete 删除 3 edit 有变化 表1 变化种类1 JOB...转载 2019-01-25 15:44:55 · 10909 阅读 · 0 评论 -
datastage中使用oracle connector中抽取clob字段时报ORA-24806
报错信息如下Oracle_Connector_1,0: The OCI function OraOCILobRead2 returned status -1. Error code: 24806, Error message: ORA-24806: LOB form mismatch. (CC_OraBigBufferHandler::callbackGetDataFromOCILobLoca...原创 2018-12-29 16:57:54 · 3455 阅读 · 0 评论 -
DataStage_Transformer常用函数
Date$Time 函数名称 测试用列 描述 测试结果 CurrentDate CurrentDate() 获取系统当天日期 2008-08-05 CurrentTime CurrentTime(...原创 2018-11-26 17:21:13 · 3221 阅读 · 0 评论 -
datastage作业解锁
错误描述:The Job 'TestJob' is locked by user 'dsadm'(SessionID '8F1B0326-4F7E-45A8-B8EC-EAA8C4780528')Do you want to continue and open a read-only view of the Job? 解决方法:1.在 datastage designer To...原创 2018-10-26 15:41:36 · 3193 阅读 · 0 评论 -
InfoSphere DataStage 运行时列扩展(RCP)在 ETL 中的应用
总体阐述随着企业信息化建设的发展,大量企业都在架设基于自身所在行业的特点的商业智能系统,来指导商业运营。设计合理,运营高效的商业智能系统,在企业的经营决策中,越来越起着至关重要的作用。IBM InfoSphere Information Server 作为可扩展的企业信息体系结构基础,可以满足企业对于巨大信息量的需求,使企业在运营中更快的交付使用高质量的业务成果。 IBM Info转载 2017-09-05 22:52:36 · 825 阅读 · 0 评论 -
datastage中新建用户
登录控制台 以isadmin用户登录选择Administration选项卡浏览器左端依次点击如下按钮浏览器有段点击新建用户 新建用户并赋权 将新建立的用户映射到DS引擎中原创 2017-09-13 16:09:52 · 1188 阅读 · 1 评论 -
datastage TD connector报错
在使用Teradata Connector加载数据时,原数据加载方式为Bulk Load,因Bulk Load消耗资源比较高,顾将小于2G的文件的加载方式修改为Bulk Stream;但是修改后作业报如下错误Job step STATUS_TABLE_SETUP completed successfully TPT_INFRA: TPT02111: Error: Operator libs原创 2017-08-23 22:36:34 · 560 阅读 · 0 评论 -
datastage作业正常导入,但是运行时失败,报找不到OshExecuter.sh
今天生产环境有个作业异常报错,在开发环境修改此作业后,往生产上重新导入此作业时,导入正常,但是运行时,报找不到OshExecuter.sh ,查看RT_SC目录后,发现作业导入后并未创建RT_SC文件夹,可以定位出作业已经损坏了,官网上解释的作业的损坏原因如下tmp UVTEMP 目录或 InfoSphere® DataStage® 项目目录中的磁盘空间已满。32 位散列文件大小超原创 2017-08-15 23:06:25 · 1240 阅读 · 0 评论 -
datastage解决cannot get exclusive access to a log for a job的方发
dastage运行作业时会在数据库中指定一个session,防止一个作业在运行时被重复调度,但是当作业异常中止时,这个锁可能不会被自动释放,导致此作业无法删除或者编译。这时需要手动释放这个锁。解锁方式如下cd $DSHOME. ./dsenv启动uvsh命令bin/uvshLOGTO projectnameLIST DS_JOBS jobname #查看作业NO L原创 2017-08-15 22:53:27 · 2694 阅读 · 0 评论 -
datastage status code的含义
Status Code是运行dsjob命令后的回归值,以下是StatusCode的设定意义Status Code含 义0This is the only status means the job is actually running1Job finished原创 2017-08-25 22:51:09 · 2821 阅读 · 0 评论 -
datastage常用术语
DataStage Term DescriptionDataStage AdministratorClient program that is used to manage the project of DataStage.DataStage serverDataStage se原创 2017-08-21 22:37:43 · 953 阅读 · 0 评论 -
datastage作业hang住
最近生产上经常有ds作业hang住,杀掉进程重做后偶尔成功,偶尔不成功,报错信息如下 main_program: (aptoci.C:500). Message: ORA-12152: TNS:unable to send break message (aptoci.C:637). Message: ORA-03114: not connected to ORACLE原创 2017-08-14 22:42:17 · 1401 阅读 · 0 评论 -
datastage因ftp作业超时报错的解决
作业报错信息如下:ECIF_FTP,0: error: ftp returned 426ftp msg: 426 Data connection: Error 0错误分析:CBS_BDSKH中sql语句如下:SELECT a.kehhao, a.gerzwm,a.gerywm, a.guobdm,a.jinnbz, a原创 2017-08-13 22:27:24 · 1104 阅读 · 0 评论 -
datastage Transformation函数之INDEX
Index(String, Substring, Occurrence): 它将会返回输入的字符在字符串中的起始位置。我们可以用它来实现grep命令判断指定的字符是否在输入的字符串中的功能 Ex:-1. 判断'le'是否存在于字符串'Incol'中 If Index(Incol, 'le', 1) > 0 then原创 2017-08-20 10:09:46 · 693 阅读 · 0 评论 -
datastage Transformation 函数之 UpCase和DownCase
Downcase(column): 此函数将输入的字符串转换为小写input = 'This is me'input1 = 'this is me'input2 = 'THIS IS ME'DownCase(input) = 'this is me'DownCase(input1) = 'this is me'DownC原创 2017-08-20 10:01:02 · 1237 阅读 · 0 评论 -
datastage文件入库乱码问题
源文件字符集为ISO8859,目标数据库为DB2,数据库编码为UTF8工程字符集设置的为默认编码UTF8,文件直接入库后发现数据库中的中文为乱码解决方式:作业级的NLS配置保持不变,默认为UTF8SequentialFile配置NLS为GBK,在字段扩展中添加UnicodeTransfo原创 2017-10-07 11:44:27 · 2712 阅读 · 0 评论 -
切换datastage应用用户
Datstage安装时需要指定一个对应的应用用户,默认的应用用户为dsadm,安装完成后如需切换用户为depuser,需做如下修改cd $DS_HOME修改.dsadmin文件中dsadm为depusercd /opt/IBM/InformationServerchown –R deposer:depgroup Server此方法虽能强行修改为depuser用户原创 2017-10-17 20:13:48 · 677 阅读 · 0 评论 -
datastage服务的停止与启动
停止服务Infosphere Datastage停止服务的顺序如下 停止Engine服务 停止ASB Agent服务 停止WebSphere Application Server(WAS)服务具体步骤如下:(1)以root用户登录Infosphere Datastage服务器(2)检查是否有残留进程检查job产生的进程ps -ef | grep phantom检查para...原创 2017-10-10 21:08:47 · 7149 阅读 · 0 评论 -
datastage错误之 ODBC_Connector_0: ODBC Info: SQLSTATE = 42000: Native Error Code = 7,405:
报错信息 ODBC_Connector_0: ODBC Info: SQLSTATE = 42000: Native Error Code = 7,405: Msg = [IBM(DataDirect OEM)][ODBC SQL Server Legacy Driver][SQL Server]异类查询要求为连接设置 ANSI_NULLS 和 ANSI_WARNINGS 选...原创 2018-10-23 17:18:54 · 1432 阅读 · 0 评论 -
datastage dsengine因空间不足启动报错
df -h 查看磁盘空间的使用情况删除无用的文件释放空间后重启即可原创 2018-10-08 20:23:34 · 812 阅读 · 1 评论 -
datastage错误之Adaptive job monitoring feature is disabled; could not create polling thread
DataStage作业偶尔失败,并出现以下错误:Message: APT_CombinedOperatorController(17),1: Adaptive job monitoring feature is disabled; could not create polling thread: Resource temporarily unavailable.Message: cs}}...原创 2018-09-29 10:19:38 · 1266 阅读 · 0 评论 -
datastage lookup组件报 Field 'column name' has keyprep export buffer overrun error
在datastage中使用lookup组件时报错如下Field 'column name' has keyprep export buffer overrun errorFiled keylookup on table ('/tablename'),Key value:'key value'解决方法,修改输入字段和映射字段的长度 一致即可 ...原创 2018-09-17 17:00:57 · 775 阅读 · 0 评论 -
控制datastage sequence作业中某一个作业报错时,整个数据流报错
在Automatically handle activies that fail前打勾即可原创 2018-03-21 13:57:39 · 1216 阅读 · 0 评论 -
datstage处理文本文件中存在多余换行符的数据
在使用ds读取文件时可能会遇到字段中包含换行符的情况,在并行作业中并没有内置的方法来处理这中情况。ds读取文件的时候是根据行尾字符来定位一行是否结束,它一次读取一行数据,然后解析这些列。解决此问题的几个解决方法是:•使用并行作业中的Extend Source组件,用sed、awk等预处理文件,将文件中多余的换行符处理掉•使用作业中的预处理功能,调用脚本或其他自定义程序将文件提前清洗原创 2017-11-24 17:15:57 · 1331 阅读 · 0 评论