解决kettle mysql导入到hive的各种报错问题

已于 2024-09-12 20:44:16 修改
阅读量258 收藏 2
点赞数 3
文章标签： mysql hive 数据库
于 2024-09-12 19:58:41 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2301_79362607/article/details/142183785
版权

最近稍微学习了一个kettle操作了各种表数据的导入导出和相互转化在mysql导入到hive时遇到了很多问题也踩了好多坑简要今天来总结一下：

场景一mysql直接导入到hive报错

首先我们要确保kettle可以正常连接到mysql出现一下界面即证明kettle对mysql的连接是正常的：

同时也需要确保kettle对hive的连接也是正常的记得提前打开hiveserver2远程连接服务,出现以下界面几位正常：（注意kettle里面是没有mysql的jar包的要拿到自己的mysql jar包传入到kettle的lib目录下）

确保两个连接都是正常后我们把mysql的连接当作表输入hive的连接当作表输出mysql要指定好数据库，hive要提前创建好表用来接收mysql导出的数据操作如下：

点击左边表输出里面的sql是可以自动生成sql语句来帮我们创建表的。此时我们点击左上角的运行会发现报了以下错误：

2024/09/11 20:27:21 - 表输出.0 - ERROR (version 9.1.0.0-324, build 9.1.0.0-324 from 2020-09-07 05.09.05 by buildguy) : Because of an error, this step can't continue:
2024/09/11 20:27:21 - 表输出.0 - ERROR (version 9.1.0.0-324, build 9.1.0.0-324 from 2020-09-07 05.09.05 by buildguy) : org.pentaho.di.core.exception.KettleException:
2024/09/11 20:27:21 - 表输出.0 - Error inserting row into table [m_hive] with values: [7369], [SMITH], [CLERK], [7902], [1980/12/17 00:00:00.000], [800.0], [null], [20]
2024/09/11 20:27:21 - 表输出.0 -
2024/09/11 20:27:21 - 表输出.0 - offending row : [empno Integer(9)], [ename String], [job String], [mgr Integer(9)], [hiredate Date], [sal Number(7, 2)], [comm Number(7, 2)], [deptno Integer(9)]
2024/09/11 20:27:21 - 表输出.0 -
2024/09/11 20:27:21 - 表输出.0 - Error setting value #5 [Date] on prepared statement
2024/09/11 20:27:21 - 表输出.0 - Method not supported
2024/09/11 20:27:21 - 表输出.0 -
2024/09/11 20:27:21 - 表输出.0 -
2024/09/11 20:27:21 - 表输出.0 -
2024/09/11 20:27:21 - 表输出.0 - 	at org.pentaho.di.trans.steps.tableoutput.TableOutput.writeToTable(TableOutput.java:384)
2024/09/11 20:27:21 - 表输出.0 - 	at org.pentaho.di.trans.steps.tableoutput.TableOutput.processRow(TableOutput.java:125)
2024/09/11 20:27:21 - 表输出.0 - 	at org.pentaho.di.trans.step.RunThread.run(RunThread.java:62)
2024/09/11 20:27:21 - 表输出.0 - 	at java.lang.Thread.run(Thread.java:750)
2024/09/11 20:27:21 - 表输出.0 - Caused by: org.pentaho.di.core.exception.KettleDatabaseException:
2024/09/11 20:27:21 - 表输出.0 - offending row : [empno Integer(9)], [ename String], [job String], [mgr Integer(9)], [hiredate Date], [sal Number(7, 2)], [comm Number(7, 2)], [deptno Integer(9)]
2024/09/11 20:27:21 - 表输出.0 -
2024/09/11 20:27:21 - 表输出.0 - Error setting value #5 [Date] on prepared statement
2024/09/11 20:27:21 - 表输出.0 - Method not supported
2024/09/11 20:27:21 - 表输出.0 -
2024/09/11 20:27:21 - 表输出.0 -
2024/09/11 20:27:21 - 表输出.0 - 	at org.pentaho.di.core.database.Database.setValues(Database.java:1098)
2024/09/11 20:27:21 - 表输出.0 - 	at org.pentaho.di.trans.steps.tableoutput.TableOutput.writeToTable(TableOutput.java:261)
2024/09/11 20:27:21 - 表输出.0 - 	... 3 more
2024/09/11 20:27:21 - 表输出.0 - Caused by: org.pentaho.di.core.exception.KettleDatabaseException:
2024/09/11 20:27:21 - 表输出.0 - Error setting value #5 [Date] on prepared statement
2024/09/11 20:27:21 - 表输出.0 - Method not supported
2024/09/11 20:27:21 - 表输出.0 -
2024/09/11 20:27:21 - 表输出.0 - 	at org.pentaho.di.core.row.value.ValueMetaBase.setPreparedStatementValue(ValueMetaBase.java:5477)
2024/09/11 20:27:21 - 表输出.0 - 	at org.pentaho.di.core.database.Database.setValue(Database.java:1080)
2024/09/11 20:27:21 - 表输出.0 - 	at org.pentaho.di.core.database.Database.setValues(Database.java:1096)
2024/09/11 20:27:21 - 表输出.0 - 	... 4 more
2024/09/11 20:27:21 - 表输出.0 - Caused by: java.sql.SQLFeatureNotSupportedException: Method not supported
2024/09/11 20:27:21 - 表输出.0 - 	at org.apache.hive.jdbc.HivePreparedStatement.setDate(HivePreparedStatement.java:460)
2024/09/11 20:27:21 - 表输出.0 - 	at org.pentaho.di.core.row.value.ValueMetaBase.setPreparedStatementValue(ValueMetaBase.java:5412)
2024/09/11 20:27:21 - 表输出.0 - 	... 6 more

这个错误大致是在说hive中的某些方法不被支持，这个错误相关信息在博客和其他网站上都非常少，摸索了很久后发现在 hive/conf/.hiverc下加入这样一句话就可以解决该报错

set hive.stats.column.autogather=false;

场景二mysql导入数据到hdfs报错

mysql导入导hdfs相比于直接导入到Hive流程要长很多，我们首先要把流程都搞对。

首先要做主对象树这里选择Hadoop clusters 点击add driver操作如下

然后在Kettle的以下目录下添加driver

添加后会加载一会出现以下界面说明操作成功：

接着重启kettle点击主队象树下面的Hadoop clusters点击new cluster

点击后弹出以下界面导入hadoop和Hive的一个五个配置文件

然后配置自己的主机名和端口号其他暂时不用配置示例配置如下：

然后点击next出现以下页面点击第一个选项

出现以下页面说明hdfs连接成功：

然后我们创建mysql表输出和BigData下的hadoopoutput作为输出：
 

选择以下配置：

运行转换 该所遇到的各种错误见下遍博客

小熊软糖^O^
关注
  • 3
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
kettle 将mysql数据 导入到hive
SDKLHKJAS的博客
09-04 1420
先说说思路：一 是直接从mysql输出至hive中，另外一个是先将数据搞到hdfs中，再load一下，当然这只是textfile存储格式而言，若是ORC等其他列式存储的话建议先搞一个textfile格式的中间表，再insert into table select 插进去 下面分别介绍下两种方式 第一种： 1.连接hive对外服务的组件hiveserver2 点击测试，OK之后会显示测试成功 测试直接将mysql中的stdcode表导入一下 抽取数据，插入的目标库中有没有对应为表的话点击下.
kettle mysql hdfs_kettle 将mysql 导入到hive（借助Hadoop File Output组件）
weixin_36249618的博客
01-18 462
背景在使用kettle 的表输出组件的时候，因为服务器hive版本为0.13,不支持insert into values的语法(hive 的0.14版本才支持)，所以通过表输出的方式，插入到hive会报错。所以想了一个其他的办法，通过kettle提供的Hadoop File Output 组件将数据以数据文件的方式导入到hadoop的hdfs。然后通后通过执行sql脚本，使用hive 支持的 lo...
使用kettle将mysql数据导入hive报错解决方法
m0_65545337的博客
09-12 88
每次启动任务只能成功导入一到两条数据。
【kettle传输mysql数据到hive：配置及报错解决】
a13827188163的博客
08-01 1073
kettle传输mysql数据到hive：配置及报错解决
ETL工具Kettle研究-3-MySQL数据导入HIVE
阿啄debugIT
02-04 1549
前言 .从数据库(mysql)中读取数据写入HDFS并建hive表。 在该转换中，需要配置2个DB链接（Mysql和HiveServer2），配置Hadoop集群（HDFS），配置子服务器（远程执行服务器）。 本实践的元数据文件：mysql-to-hive.ktr 1.数据库配置 主对象树->DB连接->新建->一般->Mysql->设置(填写数据库信息) 注意...
kettle:mysql数据导入hive常见问题
最新发布
weixin_64860388的博客
09-12 60
通过查看错误，发现是date类型的错误，所以，需要修改输入表中的SQL语句。注意：在导入数据之前，一定要先启动hiveserver2服务！输入-->表输入，使用mysql；输出-->表输出，使用hive。不需要重启hiveserver2以及kettle，直接运行即可。再次运行，数据导入成功。
Kettle导出mysql数据到hive
programmerDingl的博客
08-13 479
Kettle导出mysql数据到hive 通过Kettle导出mysql数据到hive有两种方案： ​ 1. 将hive表直接作为表输出进行 先将数据上传到hdfs，然后执行SQL语句load到hive 具体步骤如下： (1）将hive安装目录下，lib里面的所有hive开头的jar包转移至kettle的大数据jar包目录下 ​ data-integration\plugins\pentaho-big-data-plugin\hadoop-configurations\hdp25\lib (2)
使用kettle导mysql到hive过程中遇到的问题（只能导入两条并且还会报错）以及解决
yyzzyyds的博客
09-12 1025
使用kettle导mysql进hive表出现错误只能有两条数据，并且会报错。针对这个问题进行了解决和处理。
kettle+mysql+to+hive_Kettle读取mysql数据存入Hive分区表中,使用Impala查询
weixin_34333047的博客
01-19 503
操作步骤1)TmpBstAggZwTktModelD按天读取Mysql表数据bst_agg_zw_tkt_model_d，存入hive临时表tmp_bst_agg_zw_tkt_model_d(临时表采用txt格式，按年月日进行分区)2)HiveBstAggZwTktModelD连接hive,将临时表tmp_bst_agg_zw_tkt_model_d的数据加载到bst_agg_zw_tkt_mo...
Kettle数据同步导出链接hive2几种方法
hj0303的博客
03-10 1023
Kettle A． 优缺点 kettle的优点： 1.可视化界面。一个可视化界面足以成为选择kettle的首要原因。毕竟，可视化意味着更方便人的使用。 2.元数据库。元 数据库 用来保存kettle任务的元信息，方便管理任务，通常叫做资源库（ repository ）。 3.自带工作流并且支持增量抽取。 4.可以配置成一套逻辑。例如：抽取数据时，目标表不存在则插入，存在则更新，而目标表中存在...
mysql到hive调度工具_调度工具（ETL+任务流）
weixin_39689687的博客
12-22 1166
1.区别ETL作业调度工具和任务流调度工具kettle是一个ETL工具，ETL(Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程)。kettle中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。所以他的重心是用于数据oozie是一个工作流，Oozie工作流是放置在控制依赖DAG(有向无环图 Direct Acyclic ...
kettle使用文件导入到Postgresql出现如下几种问题的总结
HiterCoder
12-27 1406
kettle使用文件导入到Postgresql出现如下几种问题的总结 1、kettle使用文件导入到Postgresql出现如下几种问题的总结： 1 kettle使用文件导入到Postgresql出现如下几种问题的总结： 2 1、第一种错误，报错如ERROR: extra data after last expected column...
MySQL表操作及约束
2301_77479435的博客
09-06 1113
MySQL表操作及约束
深入解析Go语言中的条件控制与数据处理
一个被知识诅咒的人
09-08 1171
本文详细介绍了Go语言中的switch语句及其在正则表达式匹配中的应用，探讨了如何通过math/big包进行高精度圆周率计算。此外，文章还展示了如何实现一个简易键值对存储系统，并通过encoding/json和encoding/xml包处理常见的JSON和XML数据格式。通过这些示例和知识点，读者将能掌握Go语言中条件控制和数据处理的高级应用，提升编写高效代码的能力。
MySQL record 03 part
m0_47505062的博客
09-08 951
注意，百分号和下划线在MySQL中都是被当作通配符来使用的，因此当要匹配的字符是百分号和下划线本身的时候，也就是你要搜索百分号和下划线本身的时候，要将百分号和下划线转义成普通字符，方法是使用右斜线。更灵活，当 DELETE FROM 不指定where时，时删除所有表记录，而指定where时则是删除指定的符合where条件的记录。一般情况下，向表中添加新的记录，应该包含此表的所有字段，也就是应该给表的所有字段添加值，也有2种方式，指定字段和不指定字段，这里使用的是不指定字段的方式，
基于SpringBoot+Vue+MySQL的教学资源共享平台
程序员大金的博客
09-11 655
基于SpringBoot+Vue+MySQL的教学资源共享平台，附源码。
MySQL Workbench 的入门指南
布说在见的博客
09-06 1238
MySQL Workbench 是一个官方的图形化工具，用于开发、管理和设计 MySQL 数据库服务器。它提供了丰富的功能，可以帮助数据库管理员、开发者以及DBA们高效地工作。下面是一个MySQL Workbench的入门指南，介绍如何安装和使用它。
数据库课程设计mysql
数字人生
09-06 1986
以上是一个简单的数据库课程设计示例，涵盖了数据库设计、表结构、SQL查询和一些基本的操作。你可以根据自己的需求扩展这个示例，例如添加更多的实体和关系，增加更多的查询和操作等。希望这个示例能帮助你更好地理解和掌握数据库设计和MySQL的使用。数据库课程设计是一个重要的实践环节，它可以帮助你更好地理解数据库系统的设计和应用。以MySQL为例，下面是一个可能的数据库课程设计的基本步骤和要点。### 1. 选题首先，你需要确定一个具体的设计题目。这个题目应该具有一定的实际应用背景。
kettle 导入到hive
08-19
Kettle是一种ETL工具，用于在关系型数据库和Hadoop生态系统之间进行数据导入和转换。要将Kettle导入到Hive，有两种主要思路：直接配置JDBC连接HiveServer2，通过表输入和表输出组件进行转换；或者先将关系型数据库中的表导入到HDFS，再通过HDFS导入Hive表。具体的步骤如下： 第一种方式是直接连接HiveServer2： 1. 配置Hive连接，设置JDBC连接HiveServer2。 2. 将关系型数据库中的表导入到Hive的default库中。 第二种方式是先通过Hadoop File Output组件将关系型数据库中的表导出至HDFS，再导入Hive表中。具体步骤如下： 1. 确认Kettle中的Hadoop集群信息。 2. 将Hadoop集群的配置文件复制到Kettle目录中的hdp26文件夹中。 3. 在Kettle目录中的plugin.properties文件中配置Hadoop使用的配置文件为hdp26。 4. 配置Hadoop File Output组件，选择导出的文件位置、分隔符和字符编码等参数。 5. 文件导出至HDFS后，使用执行SQL脚本组件执行加载命令将数据加载到Hive目标表中。 以上就是将Kettle导入到Hive的两种常用方式。具体选择哪种方式取决于实际情况和需求。在使用Kettle连接Hive时，可以使用Hive的JDBC连接字符串，例如"jdbc:hive2://localhost:10000/default"。这样就可以成功将Kettle中的数据导入到Hive中了。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [通过kettle将关系型数据库中表导入hive中](https://blog.csdn.net/shenzhibiao/article/details/99205692)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *2* *3* [使用kettle同步数据到hive](https://blog.csdn.net/sxjxrxm/article/details/94573127)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值