![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kettle
董不懂22
这个作者很懒,什么都没留下…
展开
-
kettle on docker
一、制作kettle镜像服务器已部署kettle,现需要将部署方式变更为docker部署。基于kettle8.3。因为本地已经安装过kettle,并且使用的为文件资源库,所以这里配置文件及资源库采用映射1.1 安装docker(略)1.2 拉取centos镜像docker pull centos1.3 启动镜像,配置KETTLE# 启动centos镜像docker run -d -it centos /bin/bash# 进入镜像docker exec -it [容器ID] bash原创 2022-03-23 17:32:18 · 2718 阅读 · 0 评论 -
kettle 集群部署及使用
准备了3台服务器(hostname分别为etl1,etl2,etl3)作为集群节点。每个节点安装jdk,设置jdk环境变量(略)上传kettle安装包到每个节点并解压unzip pdi-ce-9.1.0.0-324.zip修改$KETTLE_HOME/data-integration/pwd下的配置文件主节点etl1需要修改carte-config-master-8080.xml副节点修改carte-config-xxxx.xml文件,有几个副节点就对应更改就行etl1修改carte.原创 2021-08-07 17:09:01 · 2505 阅读 · 2 评论 -
kettle写入HDFS文件错误
kettle写入HDFS文件错误Hadoop file output.0 - ERROR (version 9.1.0.0-324, build 9.1.0.0-324 from 2020-09-07 05.09.05 by buildguy) : Unexpected errorHadoop file output.0 - ERROR (version 9.1.0.0-324, build 9.1.0.0-324 from 2020-09-07 05.09.05 by buildguy) : org.原创 2021-08-05 17:12:47 · 2172 阅读 · 0 评论 -
kettle 9.x版本配置连接hadoop集群
配置hive连接将hive驱动文件放在 $KETTLE_HOME/lib 目录下即可配置hadoop连接版本的支持及选择配置可参考官方文档2.1 选择对应版本驱动选择驱动文件,默认在**$KETTLE_HOME/data-integration/ADDITIONAL-FILES/drivers** 下点击next2.2 创建集群连接(先关闭kettle,重新启动,不然可能看不到Driver信息)选择从集群下载的配置文件,其他信息按集群地址配置即可提示为连接成功,查看原因.原创 2021-08-05 17:07:48 · 3054 阅读 · 20 评论 -
kerberos-3.kettle连接hive kerberos(windows下)
拿到认证所需要的服务器keytab文件例如需要访问hive,则首先需要hive权限的秘钥文件,默认地址为/etc/security/keytabs/最好使用服务端hive的jdbc驱动进行连接,防止版本兼容问题。根据对应版本,放在对应的版本lib目录下。例如使用hdp30,那么目录一般是$KETTLE_HOME/plugins/pentaho-big-data-plugin/hadoop-configurations/hdp30_test/lib官网下载安装kerberos拿..原创 2021-01-16 11:17:07 · 1126 阅读 · 2 评论 -
kettle carte子服务器的使用
基于并发调度kettle的任务经常出现No suitable driver found for jdbc:hive2 或者文件路径错误,所以选择carte子服务来解决在服务器server1的端口8181上启动子服务器sh carte.sh server1 8181或者使用配置文件# 创建一个xml文件写入配置vi slave-simple.xml----------------------------<slave_config><max_log_lin..原创 2021-03-08 17:37:25 · 1721 阅读 · 0 评论 -
kettle按钮显示不全问题解决
在一些屏幕下kettle有些UI可能显示不全可以在电脑显示设置中调整缩放为100重启kettle,查看效果。原创 2021-02-22 10:31:17 · 1173 阅读 · 4 评论