![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
ETL
文章平均质量分 73
空山苦水禅人
这个作者很懒,什么都没留下…
展开
-
kettle 大数据插件操作相关问题
在 windows 上使用 kettle 连接 hadoop 写文件的时候,默认使用的是本机登录用户作为文件属主访问 HDFS 文件的,如果目标路径权限不允许,就会报错。1、修改 HDFS 目录权限使用 HDFS 管理员登录将相关目录设置为所有人可写,比如 777 权限2、在 kettle 中指定操作 HDFS 的用户由于 HDFS 的 Java API 访问是通过获取这个变量来设置用户的,所以可以手动设置该值为 HDFS 上有权限的用户名即可。1)通过在中设置在这一行后面添加内容: “-DHADO原创 2022-06-06 08:59:59 · 409 阅读 · 0 评论 -
Kettle 循环之 job 变量方式
在使用kettle的过程中,有时候会通过循环的方式来处理数据,比如有很多转换的流程都相同,但是只是某些参数不同的情况,则可以将这部分变化的数据设置为kettle的变量或者命名参数,每设置一次变量或者参数,就可以执行一个新的流程了。以下流程是通过自定义常量的方式获取表名,然后通过循环的方式依次对不同的表名查询数据并输出到数据库中。以kettle转换文件下载地址: 链接: 百度网盘 请输入提取码 提取码: hbgz如果大家在开发中遇到什么问题,可以加QQ群(195548102)咨询。或者加博主微信拉入微信群(请原创 2022-06-06 08:56:52 · 724 阅读 · 1 评论 -
关于 kettle 连接 mysql 的一些问题
对于 5.7 及以下版本的 mysql,jdbc 驱动使用 mysql-connector-java-5.1.x.jar,在数据库连接的地方,选择 MySQL,JDBC 方式如果选择kettle中的MySQL连接方式,则需要使用mysql-connector-java-5.1.47以上驱动版本,低版本无法使用对于 8.x 版本的 MySQL,8.x的jdbc 连接驱动方式有所变化,不能使用现有的 MySQL 连接配置方式,需要使用自定义 jdbc 连接方式(数据库类型选择Generic Database),原创 2022-06-06 08:55:25 · 1444 阅读 · 0 评论 -
关于Kettle使用es批量导出插件支持ES5/ES6/ES7的说明
由于kettle6/7等自带的elasticsearch-bulk-insert-plugin插件,最多支持es2.x,kettle8自带的es插件支持es6。对于其他需要使用es5/ex6/es7的情况,本人使用源码重新编译打包了相应的插件,请按如下步骤配置使用。...原创 2022-06-06 08:53:51 · 2056 阅读 · 2 评论 -
kettle通用插件[kettlePlugins]使用说明
kettle通用插件[kettlePlugins]使用说明原创 2022-06-06 08:47:00 · 1679 阅读 · 0 评论 -
Kettle使用问题记录
Kettle使用问题记录原创 2022-06-05 11:07:39 · 580 阅读 · 0 评论 -
Kettle 6.x 源码开发环境搭建
Data Integration - Kettle 作为免费开源的ETL工具,可以通过其桌面程序进行ETL步骤的开发并执行。kettle以插件形式来实现每个转换步骤的工作,发行版中已经提供了常用的转换清洗插件,如果还不能满足业务需求的话,则可以自己开发相应插件实现。但在使用原有插件或者自定义插件的过程中遇到问题时,如果不好定位原因,则可以通过源码环境来调试,可以更加方便和容易地解决问题。另外,通过源码的开发和学习,也能更加深入地理解kettle的原理。...原创 2022-06-05 11:01:28 · 657 阅读 · 0 评论