【Kettle 连接impala 数据库报错】

原创 已于 2024-10-14 15:19:51 修改 · 1.5k 阅读 · 20 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#etl #db

于 2024-10-14 15:19:29 首次发布

Kettle 连接impala 数据库报错

报错内容：
错误连接数据库 [t6ymsdat] : org.pentaho.di.core.exception.KettleDatabaseException:
Error occurred while trying to connect to the database

Error connecting to database: (using class org.apache.hive.jdbc.ImpalaSimbaDriver)
Duplicate key 3

org.pentaho.di.core.exception.KettleDatabaseException:
Error occurred while trying to connect to the database

Error connecting to database: (using class org.apache.hive.jdbc.ImpalaSimbaDriver)
Duplicate key 3

at org.pentaho.di.core.database.Database.normalConnect(Database.java:472)
at org.pentaho.di.core.database.Database.connect(Database.java:370)
at org.pentaho.di.core.database.Database.connect(Database.java:341)
at org.pentaho.di.core.database.Database.connect(Database.java:331)
at org.pentaho.di.core.database.DatabaseFactory.getConnectionTestReport(DatabaseFactory.java:80)
at org.pentaho.di.core.database.DatabaseMeta.testConnection(DatabaseMeta.java:2782)
at org.pentaho.ui.database.event.DataHandler.testDatabaseConnection(DataHandler.java:607)
at sun.reflect.GeneratedMethodAccessor80.invoke(Unknown Source)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:498)
at org.pentaho.ui.xul.impl.AbstractXulDomContainer.invoke(AbstractXulDomContainer.java:313)
at org.pentaho.ui.xul.impl.AbstractXulComponent.invoke(AbstractXulComponent.java:157)
at org.pentaho.ui.xul.impl.AbstractXulComponent.invoke(AbstractXulComponent.java:141)
at org.pentaho.ui.xul.swt.tags.SwtButton.access$500(SwtButton.java:43)
at org.pentaho.ui.xul.swt.tags.SwtButton$4.widgetSelected(SwtButton.java:137)
at org.eclipse.swt.widgets.TypedListener.handleEvent(Unknown Source)
at org.eclipse.swt.widgets.EventTable.sendEvent(Unknown Source)
at org.eclipse.swt.widgets.Display.sendEvent(Unknown Source)
at org.eclipse.swt.widgets.Widget.sendEvent(Unknown Source)
at org.eclipse.swt.widgets.Display.runDeferredEvents(Unknown Source)
at org.eclipse.swt.widgets.Display.readAndDispatch(Unknown Source)
at org.eclipse.jface.window.Window.runEventLoop(Window.java:820)
at org.eclipse.jface.window.Window.open(Window.java:796)
at org.pentaho.di.ui.xul.KettleDialog.show(KettleDialog.java:80)
at org.pentaho.di.ui.xul.KettleDialog.show(KettleDialog.java:47)
at org.pentaho.di.ui.core.database.dialog.XulDatabaseDialog.open(XulDatabaseDialog.java:118)
at org.pentaho.di.ui.core.database.dialog.DatabaseDialog.open(DatabaseDialog.java:60)
at org.pentaho.di.ui.spoon.delegates.SpoonDBDelegate.editConnection(SpoonDBDelegate.java:95)
at org.pentaho.di.ui.spoon.Spoon.editConnection(Spoon.java:2712)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:498)
at org.pentaho.ui.xul.impl.AbstractXulDomContainer.invoke(AbstractXulDomContainer.java:313)
at org.pentaho.ui.xul.impl.AbstractXulComponent.invoke(AbstractXulComponent.java:157)
at org.pentaho.ui.xul.impl.AbstractXulComponent.invoke(AbstractXulComponent.java:141)
at org.pentaho.ui.xul.jface.tags.JfaceMenuitem.access$100(JfaceMenuitem.java:43)
at org.pentaho.ui.xul.jface.tags.JfaceMenuitem$1.run(JfaceMenuitem.java:106)
at org.eclipse.jface.action.Action.runWithEvent(Action.java:498)
at org.eclipse.jface.action.ActionContributionItem.handleWidgetSelection(ActionContributionItem.java:545)
at org.eclipse.jface.action.ActionContributionItem.access$2(ActionContributionItem.java:490)
at org.eclipse.jface.action.ActionContributionItem$5.handleEvent(ActionContributionItem.java:402)
at org.eclipse.swt.widgets.EventTable.sendEvent(Unknown Source)
at org.eclipse.swt.widgets.Display.sendEvent(Unknown Source)
at org.eclipse.swt.widgets.Widget.sendEvent(Unknown Source)
at org.eclipse.swt.widgets.Display.runDeferredEvents(Unknown Source)
at org.eclipse.swt.widgets.Display.readAndDispatch(Unknown Source)
at org.pentaho.di.ui.spoon.Spoon.readAndDispatch(Spoon.java:1366)
at org.pentaho.di.ui.spoon.Spoon.waitForDispose(Spoon.java:7984)
at org.pentaho.di.ui.spoon.Spoon.start(Spoon.java:9245)
at org.pentaho.di.ui.spoon.Spoon.main(Spoon.java:692)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:498)
at org.pentaho.commons.launcher.Launcher.main(Launcher.java:92)

Caused by: org.pentaho.di.core.exception.KettleDatabaseException:
Error connecting to database: (using class org.apache.hive.jdbc.ImpalaSimbaDriver)
Duplicate key 3

at org.pentaho.di.core.database.Database.connectUsingClass(Database.java:590)
at org.pentaho.di.core.database.Database.normalConnect(Database.java:456)
... 55 more

Caused by: java.lang.IllegalStateException: Duplicate key 3
at java.util.stream.Collectors.lambda$throwingMerger0(Collectors.java:133)atjava.util.HashMap.merge(HashMap.java:1254)atjava.util.stream.Collectors.lambda0(Collectors.java:133) at java.util.HashMap.merge(HashMap.java:1254) at java.util.stream.Collectors.lambda0(Collectors.java:133)atjava.util.HashMap.merge(HashMap.java:1254)atjava.util.stream.Collectors.lambdatoMap$58(Collectors.java:1320)
at java.util.stream.ReduceOps$3ReducingSink.accept(ReduceOps.java:169)
at java.util.stream.ReferencePipeline$2$1.accept(ReferencePipeline.java:175)
at java.util.stream.ReferencePipeline$31.accept(ReferencePipeline.java:193)atjava.util.Spliterators1.accept(ReferencePipeline.java:193) at java.util.Spliterators1.accept(ReferencePipeline.java:193)atjava.util.SpliteratorsArraySpliterator.forEachRemaining(Spliterators.java:948)
at java.util.stream.AbstractPipeline.copyInto(AbstractPipeline.java:481)
at java.util.stream.AbstractPipeline.wrapAndCopyInto(AbstractPipeline.java:471)
at java.util.stream.ReduceOps$ReduceOp.evaluateSequential(ReduceOps.java:708)
at java.util.stream.AbstractPipeline.evaluate(AbstractPipeline.java:234)
at java.util.stream.ReferencePipeline.collect(ReferencePipeline.java:499)
at org.pentaho.big.data.api.jdbc.impl.JdbcUrlImpl.(JdbcUrlImpl.java:81)
at org.pentaho.big.data.api.jdbc.impl.JdbcUrlParserImpl.parse(JdbcUrlParserImpl.java:45)
at Proxy2c7c1e25_ab5c_479c_9f9a_fdcfb7ba20d8.parse(Unknown Source)
at Proxya5d38c72_0c02_4b44_b949_c299d59d5674.parse(Unknown Source)
at com.pentaho.big.data.bundles.impl.shim.hive.HiveDriver.connect(HiveDriver.java:64)
at org.pentaho.platform.plugin.services.connections.PentahoSystemDriver.connect(PentahoSystemDriver.java:85)
at java.sql.DriverManager.getConnection(DriverManager.java:664)
at java.sql.DriverManager.getConnection(DriverManager.java:208)
at org.pentaho.di.core.database.Database.connectUsingClass(Database.java:571)
… 56 more

kettle连接数据库sqlserver、MySQL、Hadoop等
清平乐的技术专栏
07-07 2663
一.注意 （1）kettle支持连接关系型数据库和hive、impala等大数据组件。如果要连接数据库，底层kettle的目录下应该安装对应的驱动jar包，否则会报缺少驱动错误。 例如： 连接mysql5.7，要事先下载mysql的jdbc驱动包，所以我们要下载该jar包 （jar包下载详见附录）下载好后，解压该文件将文件夹中的mysql-connector-java-5.1.48-bin.jar文件复制到kettle所安装的data-integration\lib下即可。 驱动下载地址： https:
windows环境 java jdbc 连接impala (kerberos认证)
空谷幽兰草堂
07-17 7015
在网上找了下使用kerberos认证来通过jdbc连接impala，发现基本都是报错了。我使用两种方法jdbc连接impala，分别是通过hive来连接，还有通过impala自身的jdbc驱动来连接。第一种：（使用impala自身的jdbc驱动来连接，本例子是在impala的demo中进行了修改，添加了kerberos认证）pom文件如下：<project xmlns="http://maven.
Kettle连接MySQL数据库找不到驱动问题解决
ngc_1277
05-26 1680
连接报错： 错误连接数据库 [tcc] : org.pentaho.di.core.exception.KettleDatabaseException: Error occurred while trying to connect to the database Driver class 'org.gjt.mm.mysql.Driver' could not be found, make sure the 'MySQL' driver (jar file) is installed. org.gjt.m.
Caused by: org.pentaho.di.core.exception.KettleDatabaseException: Error connecting to database: (us
信徒博客
05-31 716
jar放在docker cp /home/kettle_job/mysql-connector-java-8.0.17.jar 148ecaf4b16d:/usr/local/tomcat/webapps/spoon/WEB-INF/lib。docker cp /home/kettle_job/mysql-connector-java-*版本.jar 148ecaf4b16d:/usr/local/tomcat/lib。3、版本不对，版本要求极为严格。1、jar放置的位置不对。2、没有修改jar用户组。
Kettle连接Oracle数据库报错{错误连接数据库 [XGLZS] : org.pentaho.di.core.exception.KettleDatabaseException: Error}
JISHI412的博客
07-21 2300
通过Kettle连接Oracle数据库，测试数据库以及开发数据库都可以连接没有问题。但是连接正式数据库时候发现一直报错，最后排查原因如下：实例名是NC但是，kettle连接正式数据库时候查询了下实例名为NC2了。 具体排查语句如下： select INSTANCE_NAME from v$instance; 报错信息如下： 错误连接数据库 [XGLZS] : org.pentaho.di.core.exception.KettleDatabaseException: Error occurred whi
kettle spoon连接MySQL8.0数据库报错解决方法
mantoli的博客
11-22 2399
参考和jar包来自：https://www.bilibili.com/video/BV1244y1K7oz/?解决：kettle\data-integration\lib包下面加装mysql连接的jar包。kettle 连接 mysql 8.0报错，显示无法连接到数据库服务。现状，url，库名，表名都没有问题。重新连接mysql，测试显示成功。原因：因为没有安装jar包。
Kettle连接数据库[MySQL]报错
m0_74972727的博客
10-07 2543
【代码】Kettle连接数据库[MySQL]报错。
kettle数据库连接错误
carolinehaha的博客
08-23 3557
错误连接数据库 [test1] :org.pentaho.di.core.exception.KettleDatabaseException: Erroroccured while trying to connect to the database Exceptionwhile loading class org.gjt.mm.mysql.Driver org.pentaho.
impala数据库常见报错
最新发布
09-05
使用Kettle连接Impala数据库时，可能会出现连接错误，报错信息如“Caused by: org.pentaho.di.core.exception.KettleDatabaseException: Error connecting to database: (using class org.apache.hive.jdbc....
kettle安装kettle-manager报错：Could not create connection to database server. Attempted reconnect 3 times
weixin_44625972的博客
01-18 1092
因为最近在用kettle，所以安装了下kettle-manager-v2.0（kettle是7.0），按照教程安装一步一步安装（详细教程可参考：https://my.oschina.net/majj/blog/983091） 但是最后总是报错：Could not create connection to database server. Attempted reconnect 3 times. Giving up，连接不上本地Mysql数据库。 尝试了改变URL地址（因为mysql默认的时区不是中国的）：
采用jdbc连接Impala
07-24
简单的代码，采用JDBC连接Impala。内容有需要的lib包和一个TestImpala.java的类。需要自己创建一个java工程，并导入包运行。
kettle连接Oracle报错
12-14
kettle连接Oracle报错kettle连接Oracle报错报错信息 kettle连接Oracle报错 报错信息 错误连接数据库 [aaa] : org.pentaho.di.core.exception.KettleDatabaseException: Error occurred while trying to connect to the database Error connecting to database: (using class oracle.jdbc.driver.OracleDriver) Listener refused the connection with th
impala 连接mysql_impala系列: 基本命令和jdbc连接
weixin_32475629的博客
02-03 754
--=======================使用impala-shell 登录--=======================impala-shell --auth_creds_ok_in_clear -l -i ip_address -u user_name--=======================JDBC driver--=======================Impal...
Kettle 学习之问题处理（一）：连接数据库报错
weixin_50859534的博客
01-30 6694
Kettle数据库连接错误问题的处理
kettle连接mysql错误连接数据库org.pentaho.di.core.exception.KettleDatabaseException
热门推荐
码者人生的技术博客
01-02 7万+
错误连接数据库 [MySql-1] :org.pentaho.di.core.exception.KettleDatabaseException: Erroroccured while trying to connect to the database Exceptionwhile loading class org.gjt.mm.mysql.Driver kettle在初次配置的
Kettle连接MySQL报错：错误连接数据库 [mysql] : org.pentaho.di.core.exception.KettleDatabaseException的解决办法
小白的编码屋
12-27 3万+
在Windows系统里面安装Kettle后打算连接MySQL的时候突然报错： 错误连接数据库 [mysql] : org.pentaho.di.core.exception.KettleDatabaseException: Error occurred while trying to connect to the database Driver class ‘org.gjt.mm.mysql.Dr...
错误连接数据库 [xxx] : org.pentaho.di.core.exception.KettleDatabaseException: Error occurred while try
闲言
10-10 3461
Error connecting to database: (using class oracle.jdbc.driver.OracleDriver) Listener refused the connection with the following error: ORA-12505, TNS:listener does not currently know of SID given in connect descriptor
kettle 连接数据库报错 （错误连接数据库 [mysql] : org.pentaho.di.core.exception.KettleDatabaseException: Error occ）
张国荣家的弟弟
04-29 1万+
文章目录问题描述问题分析问题解决测试连接 问题描述 说的是没有发现org.gjt.mm.mysql.Driver驱动，故而我们下载自己mysql对应的版本。 错误连接数据库 [mysql] : org.pentaho.di.core.exception.KettleDatabaseException: Error occurred while trying to connect to the database Driver class 'org.gjt.mm.mysql.Driver' could no
kettle抽取数据到impala
hyfstyle的博客
03-01 4141
1.首先确认数据来源，查询获取需要抽取的数据 2.kettle中，抽取源数据上传到HDFS指定路径下，如果hive表 是STORED AS TEXTFILE 上述 FILE_NAME 根据日期指定数据存放在HSFS上的具体位置，相应日期存放相应数据，在/user/hive/warehouse/test.db/order_tmp/dt_id=20190301/order_20190301 这是...
kettle 连接数据库 报错
08-19
kettle连接数据库报错可能有多种原因。根据引用、、中提供的信息，错误信息中显示了"org.pentaho.di.core.exception.KettleDatabaseException: Error occurred while trying to connect to the database"。这种情况表明在尝试连接数据库时出现了错误。 要解决这个问题，可以考虑以下几个方面： 1. 检查数据库连接配置：确认连接数据库的用户名、密码、主机名、端口号等信息是否正确。可以根据具体的数据库类型和版本来查看正确的连接配置。 2. 检查网络连接：确保可以与数据库服务器建立正常的网络连接。可以尝试使用其他工具或命令行工具来测试与数据库服务器的连接。 3. 检查数据库权限：确保连接数据库的用户具有足够的权限来执行所需的操作。可以检查连接数据库的用户是否具有正确的权限，例如对表、视图、存储过程等的读取和写入权限。 4. 检查数据库驱动程序：确保使用的数据库驱动程序与kettle版本兼容。有时候，更新或更改数据库版本可能需要更新驱动程序。 5. 检查数据库状态：确保数据库服务器正常运行。可以尝试重新启动数据库服务器或联系管理员进行进一步的排查。 综上所述，kettle连接数据库报错的原因可能是配置错误、网络连接问题、数据库权限、驱动程序不兼容或数据库服务器故障。需要根据具体的错误信息和情况来进行排查和解决。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* [已解决（kettle连接数据库报错问题）Driver class ‘net.sourceforge.jtds.jdbc.Driver’ could not be ...](https://blog.csdn.net/yuan2019035055/article/details/124804666)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *3* [kettle连接Oracle报错](https://download.csdn.net/download/weixin_38599537/13684204)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值