![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Kettle
文章平均质量分 57
龙明倩
架构设计、BI管理开发、大数据研究杂项
展开
-
kettle实现hadoop文件操作
Kettle默认版本只支持0.20.0的版本如果要支持,2.2版本,要进行插件升级1.1复制文件到hadoop系统场景描述:从本地环境(window)复制txt文件到10.204.104.193的hadoop环境,放到/user/hadoop/input目录下1.1.1 环境及元数据描述2013-11-14Kettel版本信息:pdi-ce-4.4.0-stableC:转载 2014-03-05 10:21:59 · 8395 阅读 · 0 评论 -
Kettle(PentahoDataIntegration)安装Hadoop-2.2.0插件
Kettle(PentahoDataIntegration)安装Hadoop-2.2.0插件1 安装前的准备工作 1.1 Pentaho DataIntegration当前的CE 版本Pentaho DataIntegration 是5.0.1,下载地址:http://www.pentaho.com/download/。你也可以尝试企业版EE,这里不做介绍了。下载完成后转载 2014-03-06 20:23:45 · 6271 阅读 · 0 评论 -
解决:kettle连接hadoop 2.20后,导致不能连接Hive的问题
kettle如何连接hadoop 2.20,参见 “Kettle(PentahoDataIntegration)安装Hadoop-2.2.0插件”原本官方下载的kettle的4.4版本,默认配置是可以链接hive(不需要拷贝问题),但配置hadoop2.20的文件进来后,无法链接依据错误提示,明显是kettle的链接hive的驱动有问题,思考为了链接hadoop原创 2014-03-06 20:40:01 · 4952 阅读 · 0 评论 -
kettle5.0修改的程序,4.3版本无法打开
凌晨正常调用数据,出现元数据读取错误,很奇怪的问题,发现初始化程序INITI_VAR昨晚有修改的记录,用kettle4.3版本无法打开,后来调试用4.4和5.0就可以打开,难道是因为版本不兼容导致了,低版本不能调用高版本的程序。测试过程: 1、用kettle5.0新建一个job,4.3版本可以打开; 2、用kettle5.0新建一个transfro原创 2014-03-31 09:50:31 · 1537 阅读 · 0 评论 -
kettle采用Hadoop Copy Files出现权限不足的问题
kettle设计如下:测试例子说明:SQL控件,是直接连接HIVE环境,truncate table table;Hadoop Copy Files 是拷贝ETL服务器一个文件到对应的hadoop目录下,也就是HIVE表所在的表目录Hadoop Copy Files 设置如下:执行job,提示权限不足:原创 2014-03-20 11:45:57 · 5572 阅读 · 1 评论 -
解决KETTLE调用http传输中文参数的问题
场景:检查服务器异常(hive)服务,就通过http发送一条短信到手机上,内容类似:【通知】${START_DATE}_hive服务检测异常${DB_ID},实现的ktr如下:2016/09/08 15:43:05 - Spoon - 转换已经打开.2016/09/08 15:43:05 - Spoon - 正在打开转换 [dxl_t]...2016/09/08 15:43:05原创 2016-09-08 15:57:33 · 15560 阅读 · 1 评论