kettle对接hive

最新推荐文章于 2024-06-02 17:58:10 发布
最新推荐文章于 2024-06-02 17:58:10 发布
阅读量974 收藏 2
点赞数
分类专栏： 中间件 文章标签： hive kteelt etl 大数据 jdbc
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kamputer/article/details/105976089
版权

kettle没有自带hive的驱动,如果在界面上直接选Hadoop Hive 2/3会报找不到驱动的错误.按照网上的解决方案修改了plugins文件夹里的配置文件后仍然无法解决.还是需要把驱动jar放入kettle里才可以.

docker cp /opt/hive/jdbc/hive-jdbc-2.3.2-standalone.jar hive-jdbc-2.3.2-standalone.jar
scp hive-jdbc-2.3.2-standalone.jar qbit@172.23.100.48:/home/qbit/Desktop/data-integration/lib/hive-jdbc-2.3.2-standalone.jar

使用上面两个命令把驱动jar从hive的安装docker里拷贝出来,放入kettle里
这里会碰到一个坑,因为hive的jar里有jackson,会与kettle里自带的冲突,需要打开jar,删掉相应的文件
然后重启kettle就可以了

首席IT民工
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
Kettel连接SQL踩坑记录
(｡◕‿◕｡)
11-02 319
这里踩坑记录 - 连接报错 错误信息： 错误连接数据库 [tcc] : org.pentaho.di.core.exception.KettleDatabaseException: Error occurred while trying to connect to the database Driver class ‘org.gjt.mm.mysql.Driver’ could not be f...
Kettle数据同步导出链接hive2几种方法
hj0303的博客
03-10 992
Kettle A． 优缺点 kettle的优点： 1.可视化界面。一个可视化界面足以成为选择kettle的首要原因。毕竟，可视化意味着更方便人的使用。 2.元数据库。元 数据库 用来保存kettle任务的元信息，方便管理任务，通常叫做资源库（ repository ）。 3.自带工作流并且支持增量抽取。 4.可以配置成一套逻辑。例如：抽取数据时，目标表不存在则插入，存在则更新，而目标表中存在...
hive-jdbc-2.1.1-cdh6.3.1-standalone.jar
04-20
Hive 2.1.1 的 JDBC 连接驱动，CDH-6.3.1 版本。
kettle如何连接hive
热门推荐
小小明-代码实体的专栏
05-10 3万+
文章目录配置测试 配置 kettle版本：kettle-6.1.0.1_07270 修改kettle-6.1.0.1_07270\plugins\pentaho-big-data-plugin\plugin.properties 将active.hadoop.configuration改为hive： active.hadoop.configuration=hive 再进入kettle-6.1.0.1_07270\plugins\pentaho-big-data-plugin\hadoop-configu
记录一下我遇到的版本问题导致的kettle连接hive失败
最新发布
weixin_67299453的博客
06-02 161
当然，我的驱动用的是我的3.3.1，不是他的版本，然后我就能连上了。在改完hdp30，在30目录里更新了我的hadoop的xml文件之后，我的kettle就能连上我的hive了，测试就通了。我看的教程里的，教程里用的hadoop版本和我不一样，我的是3.3.1。教程里的好像是2.x，他连接的是cdh514，我的改换成hdp30，
简单使用Kettle将mysql的数据导入hive中去
qq_34566673的博客
01-01 1467
**使用环境： ——hadoop260-cdh5.14.2版本 ——hive1.1.0-cdh5.14.2版本 ——mysql 5.6.50 ** 首先去国内的镜像网站下载kettle的安装包： 下载完之后解压双击soppn.bat就可以运行了，第一次运行会有点慢，稍等片刻就好了。 拖动添加表输入和表输出 表输入是从mysql中获取数据（需要新建mysql连接，指定数据库名称） 表输出是将数据导出至hive中去 需要将mysql的jar包和hive jdbc standalone的jar包复制到相关的lib
kettle 实操
weixin_44524441的博客
05-07 371
Test1 csv-excel Test2 json-excel Test3 mysql -excel Test4 生成数据-excel Test5 mysql –文本 Test6 json –文本 Test7 json –mysql Test8 mysql 删除数据 集成大数据 Test9 HDFS –excel Te...
kettle8.1Hive连接包
12-26
Kettle 8.1 Hive 连接包是一个专门为 Pentaho Kettle 8.1 版本设计的数据集成工具，用于高效地与 Apache Hive 数据仓库进行交互。Kettle，也称为 Spoon，是 Pentaho Data Integration（PDI）的一部分，它提供了一个...
Kettle对接tdh.zip
10-11
- **Hive对接**：Hadoop生态中的Hive是大数据处理的重要组件，Kettle同样支持与Hive的集成。 - **共享经验**：由于Kettle对接TDH的方法与对接其他数据源相似，所以该文档同样适用于Hive的对接。 - **注意点**：与...
kettle8.2连接hive驱动包.zip
07-03
标题中的"kettle8.2连接hive驱动包.zip"指出，这是一个用于Kettle 8.2版本的数据集成工具与Hive数据库交互的驱动程序集合。Kettle，也被称为Pentaho Data Integration (PDI)，是一个开源的数据集成解决方案，它允许...
kettle批量插入hive2，解决表输出速度慢问题
05-08
解决kettle使用表输出到hive2时，批量提交不起作用导致速度非常慢的问题，重新编译big-data-plugin插件使表输出支持对hive2批量提交，速度由几十条每秒提升到三千条每秒。
kettle执行hive相关ktr时报错： database type with plugin id [HIVE2] couldn't be found!
04-02
java代码执行hive相关ktr时报错： database type with plugin id [HIVE2] couldn't ... 解决：kettle-core-7.1.0.0-12.jar适配hive后的包。具体步骤请查看https://blog.csdn.net/m0_37618809/article/details/81632342
Pentaho Kettle 连接 CDH Hive (No suitable driver found for jdbc:hive2 错误解决方法)
rav009的专栏
09-28 9044
关键点: 清理Kettle缓存: rm -rf /home/user/data-integration/./system/karaf/caches rm -rf /home/user/data-integration/./system/karaf/data karaf 是Kettle用于实现插件的一个组件, 比如一些大数据有关的shim都算做kettle的插件 配置Kettl...
Kettle整合Hive
Knight
03-20 1907
目录一.kettle与Hive整合数据准备从hive中读取数据把数据保存到hive数据库执行Hive的HiveSQL语句 一.kettle与Hive整合 1、从虚拟机下载Hadoop的jar包 /export/servers/hadoop-3.1.3/share/hadoop/common/hadoop-common-3.1.3.jar 2、把jar包放置在\data-integration\lib目录下 3、重启kettle，重新加载生效 关掉之前打开的kettle重新启动！！ 数据准备 1、连接hiv
kettle与hive建立连接教程
v15220的博客
12-11 3250
要替换kettle文件的位置：D:\programfile\data-integration\plugins\pentaho-big-data-plugin\hadoop-configurations\hdp30。注意是要放在hdp30目录下的lib文件夹，而不是像把Oracle/MySQL驱动一样放在data-integration目录下的lib文件夹。版本说明：kettle：pdi-ce-8.3.0.0-371.zip。Hadoop集群：hadoop-3.3.2。如下建立db连接，恭喜测试成功！
Kettle（一）：链接Hive数据仓库
小蚯蚓的博客
04-25 2908
一、环境配置 1.CDH 5.15.2 2.启动hiveserver2 确认端口号，默认是10000。自行修改的话，使用自己的。 3.Kettle 8.2 下载地址：https://community.hitachivantara.com/docs/DOC-1009855 二、配置Hive插件相关配置 1.下载需要的hadoop jar包（hadoop-common...
kettle连接hive错误
fengyuanshen的专栏
11-09 4121
hive运行报错 错误连接数据库 [hive] : org.pentaho.di.core.exception.KettleDatabaseException: Error occured while trying to connect to the database Error connecting to database: (using class org.apache.hadoop.h
Kettle导出mysql数据到hive
programmerDingl的博客
08-13 449
Kettle导出mysql数据到hive 通过Kettle导出mysql数据到hive有两种方案： ​ 1. 将hive表直接作为表输出进行 先将数据上传到hdfs，然后执行SQL语句load到hive 具体步骤如下： (1）将hive安装目录下，lib里面的所有hive开头的jar包转移至kettle的大数据jar包目录下 ​ data-integration\plugins\pentaho-big-data-plugin\hadoop-configurations\hdp25\lib (2)
kettle 8.2 hive
09-09
如果你想使用 Kettle 8.2 和 Hive 进行数据集成和数据转换，你可以使用 Kettle 的 Hive 相关的插件和组件来连接和操作 Hive 数据库。这样你就可以使用 Kettle 的可视化界面来设计和执行数据转换的任务，将数据从不同...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值