SSIS and Kettle
文章平均质量分 79
爱知菜
Renjie Wei
展开
-
SSIS error&failure event-handler propagate属性
根据 MaximumErrorCount 的设定, error数量到达这个数值后,对应的task会 failure原创 2014-05-12 11:49:43 · 1563 阅读 · 0 评论 -
Pentaho Kettle 简单并行处理
根据Kettle的设计所有的step在transformation里是并行运行的, 所以在transformation里无法做到针对某一个step记日志, 因为记日志那步会在transformation一开始就执行 而不会等待你要关注的那个step完成才开始. 可以把记日志的功能放到job里去:对于job, job不是并行的, 而是根据箭头有先后执行顺序的.1. 在一个原创 2018-01-11 14:41:52 · 4721 阅读 · 0 评论 -
Kettle (PDI) 连接 MS SQL server数据库
先去微软下载JDBC驱动:https://www.microsoft.com/en-US/download/details.aspx?id=11774解压后得到的目录里有 jre7 jre8 和 auth其中auth里的sqljdbc_auth.dll是用于sqlserver的integrated authentication(注意区分x64和x86)而 jre7 和 jre8 里的sqljdbc...原创 2018-01-04 10:57:24 · 5134 阅读 · 0 评论 -
使用命令行来执行Pentaho Data integration job
cd "C:\Program Files (x86)\Kettle"call kitchen.bat -file:"C:\Elekta Projects\CE_Activities\MAIN.kjb" -level:Minimal亲测上面这句可行如果不用call的话, 会报一个错:ERROR [BlueprintContainerImpl] Unable to start blu...原创 2018-03-15 11:22:10 · 887 阅读 · 0 评论 -
数据库范式, 数据仓库设计架构Kimball 和 Inmon 杂记
Inmon Kimball 建模 范式原创 2016-04-21 12:10:20 · 3080 阅读 · 0 评论 -
Pentaho Kettle 连 Oracle (SID)
首先要下载Oracle的 JDBC 驱动放到 Kettle的lib目录下然后在Transform里具体连接Oracle的时候, 注意数据库名称填的是SID.怎么获Oracle取数据库的SID? 可以运行下面的语句, 第一句获取数据库版本, 第二句就是SID--Get Version Info select * from v$version;--Get SIDselect ...原创 2018-09-17 16:51:58 · 823 阅读 · 0 评论 -
Pentahou Kettle 在Job里使用Javascript 处理复杂逻辑
SSIS 有 script component 允许用户用C# 或者 VB来定义复杂逻辑Pentaho Kettle 有 Javascript 允许用户用js来定义复杂逻辑Javascript 最后必须返回一个布尔变量(如下面示例代码中的 true;), 表示成功或者失败可用使用 parent_job.setVariable(); 来定义变量下面有一段示例代码, 使用了js 和日期...原创 2018-09-18 16:35:37 · 2342 阅读 · 1 评论 -
Pentaho Kettle 连接 CDH Hive (No suitable driver found for jdbc:hive2 错误解决方法)
关键点:清理Kettle缓存:rm -rf /home/user/data-integration/./system/karaf/cachesrm -rf /home/user/data-integration/./system/karaf/datakaraf 是Kettle用于实现插件的一个组件, 比如一些大数据有关的shim都算做kettle的插件配置Kettl...原创 2018-09-28 17:39:37 · 9078 阅读 · 2 评论 -
Kettle 中的 filenames result 系统
在部分文件处理的kettle组件中, 你能找到一个勾选框, 名字叫 "Add filenames to result".这是什么意思呢?Kettle有一个文件名系统, 专门储存了最近生成的或者处理过的文件名列表, 以供进一步处理, 比如移动, copy或者删除在Job的design中你能找到几个组件专门用来处理这些被kettle记住了名字的文件.比如:Process resul...原创 2018-09-30 11:16:47 · 1012 阅读 · 0 评论 -
Kettle Number & BigNumber Format
在Spoon的文件栏, Edit->Edit Kettle Properties files将 KETTLE_DEFAULT_BIGNUMBER_FORMAT 项配置为0.#####否则的话, 默认Kettle对它认为是BigNumber的列 ,把0 会强行写成0.0, 造成不必要的冗余...原创 2018-11-05 19:13:02 · 3842 阅读 · 0 评论 -
Kettle 中常用 控件一览
Data Grid:The Data Grid step allows you to enter a static list of rows in a grid. This is usually done for testing, reference or demo purposes. Calculator:对一个表结构数据,至多对其中三列进行计算,生成新的一列 Swit...原创 2017-09-01 14:22:02 · 11672 阅读 · 0 评论 -
Kettle 和 SSIS 的区别研究 (Kettle 循环遍历)
Pentaho Kettle 是开源免费的 ETL 工具SSIS 是微软BI三件套之一 两者有很多相似的特点, 比如都是基于图形界面的控件加剪头的方式直观地来进行开发。在SSIS中具体负责数据流传输的控件叫“Data Flow”,而在Kettle里叫“Transformation”。“Data Flow”之上一层的包含很多逻辑判断和预处理的在SSIS里叫“Container”,在Ket...原创 2017-03-30 17:50:52 · 8696 阅读 · 0 评论 -
SSIS package出错报login failed for user 'nt authority\anonymous logon'的解决办法
问题链接:http://social.msdn.microsoft.com/Forums/sqlserver/en-US/35139786-12bd-424a-9a60-27b5de981cd6/login-failed-for-user-nt-authorityanonymous-logon原创 2014-06-27 12:36:40 · 5292 阅读 · 0 评论 -
ssis使用parent package模式environment参数报错 There is no appropriate variable in the current environment...
问题链接:http://www.mssqlgirl.com/ssisdb-bug-package-parameter-mapping.html说是SSIS的一个bug原创 2014-06-27 14:09:18 · 1282 阅读 · 0 评论 -
SSIS报不能把DBNull convert成其他类型,Object等错误的解决办法
在sql语句中必须给每列加上isnull, b原创 2014-06-18 14:34:07 · 1692 阅读 · 0 评论 -
SSIS 连接 Tabular Cube 出现 0x80040E21等错误的解决办法
1. 连接字符串要加"Format=Tabular;"例如: DTS:ConnectionString="Data Source=VrpExternalTab.partners.extranet.Microsoft.com;Initial Catalog=DevicesDataModel;Format=Tabular;Provider=MSOLAP.7;Integrated S原创 2016-06-14 17:52:38 · 2204 阅读 · 0 评论 -
SSIS用MDX 查询或多维数据库作为数据源报错的解决办法
https://support.microsoft.com/en-us/kb/28617750x80040E21 or 0x80004005 error when a data flow task in an SSIS package runs an MDX query by using MSOLAP in SQL Server在数据库连接字符串中加入:Format=T原创 2016-07-07 11:58:02 · 4403 阅读 · 0 评论 -
SSIS 无视 Execute Package task 控件的错误, 不会导致整个package报错的方法
http://stackoverflow.com/questions/697538/ignore-errors-on-execute-package-task-in-ssis"A better way to do this is to go to the OnError handler of your execute package task and set the System vari转载 2016-06-15 13:53:52 · 1116 阅读 · 0 评论 -
SSIS SSAS 的优化手段总结
SSIS SSAS 预聚合 非重复计数度量值 执行树 分区转载 2017-04-22 21:57:51 · 4004 阅读 · 0 评论 -
Data Vault Brief Summary
Auditable/TraceableRepeatable/Ease of useAdaptableThe relationship between hubs is always many to many.Hub&Link&Satelite.原创 2017-09-25 14:34:47 · 279 阅读 · 0 评论 -
Kettle 连 Salesforce 拉数据
获取安全Token后, 在kettle里设置的密码是 password+Token 比如密码是123, token是789, 那就输入123789Salesforce里的Entity与普通数据库的表不一样, 不是每一列都可以filter, 一般只有日期或数字等类型的字段支持filter, 具体可以查阅Salesforce SOQL的文档来得知.开发过程中还遇到一个Ket...原创 2018-01-02 18:07:37 · 2575 阅读 · 1 评论 -
Pentaho Kettle 8.1 使用 Mysql 8.0 开启 Reposity 模式
Mysql 8.1 驱动放到kettle的lib目录。在kettle安装目录,simple-jndi目录下,编辑 jdbc.properties 文件加入mysql的配置项:MYSQL8_DB/type=javax.sql.DataSourceMYSQL8_DB/driver=com.mysql.cj.jdbc.DriverMYSQL8_DB/url=jdbc:mysql://loc...原创 2019-04-30 16:13:53 · 1206 阅读 · 0 评论