Kettle导入ES7.8.1时报NullPointerException解决方案

记录自己昨天遇到的两个bug。

  1. kettle设置完成后,无法连接ES。
    在这里插入图片描述
    是因为自己的插件版本过低导致的无法连接,kettle7.1中支持的es连接插件,只支持es2.2版本,需要替换elasticsearch-bulk-insert-plugin插件

源码及插件见:链接: https://pan.baidu.com/s/1yEjLaWJZLcMElGtKYKXtug 密码: pb8j

下载完后,在解压文件夹中,拷贝以下文件,替换到kettledata-integration\plugins\elasticsearch-bulk-insert-plugin路径下
原文链接:https://blog.csdn.net/xpm_xq/article/details/86703558
在这里插入图片描述

  1. 连接ES后,从pg库导入时报空指针。
    在这里插入图片描述

首先先排除是不是自己的表中有些不能有null的字段出现了null,比如uuid。
排除后,那可能就是你的es安全认证问题了,这里列出kettle设置es7的几个步骤。
1、先拖动ES插件:
在这里插入图片描述

2、es7之后的type都只有一个_doc,不管你创建了什么type,这里只写_doc即可。
在这里插入图片描述
3、设置连接的IP和端口
在这里插入图片描述
4、最坑的一点是要有安全认证!ES的用户名和密码!不设置的话会永远NullPoint!!!Srtting是固定写法,Value是user:password。如果你的es免密,才可以不设置。
在这里插入图片描述
至此,解决了一天的bug,kettle可以正常导入es数据,完整的kettle流程如下:在这里插入图片描述

  • 2
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Kettle是一种ETL工具,用于在关系型数据库和Hadoop生态系统之间进行数据导入和转换。要将Kettle导入到Hive,有两种主要思路:直接配置JDBC连接HiveServer2,通过表输入和表输出组件进行转换;或者先将关系型数据库中的表导入到HDFS,再通过HDFS导入Hive表。具体的步骤如下: 第一种方式是直接连接HiveServer2: 1. 配置Hive连接,设置JDBC连接HiveServer2。 2. 将关系型数据库中的表导入到Hive的default库中。 第二种方式是先通过Hadoop File Output组件将关系型数据库中的表导出至HDFS,再导入Hive表中。具体步骤如下: 1. 确认Kettle中的Hadoop集群信息。 2. 将Hadoop集群的配置文件复制到Kettle目录中的hdp26文件夹中。 3. 在Kettle目录中的plugin.properties文件中配置Hadoop使用的配置文件为hdp26。 4. 配置Hadoop File Output组件,选择导出的文件位置、分隔符和字符编码等参数。 5. 文件导出至HDFS后,使用执行SQL脚本组件执行加载命令将数据加载到Hive目标表中。 以上就是将Kettle导入到Hive的两种常用方式。具体选择哪种方式取决于实际情况和需求。在使用Kettle连接Hive时,可以使用Hive的JDBC连接字符串,例如"jdbc:hive2://localhost:10000/default"。这样就可以成功将Kettle中的数据导入到Hive中了。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [通过kettle将关系型数据库中表导入hive中](https://blog.csdn.net/shenzhibiao/article/details/99205692)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *2* *3* [使用kettle同步数据到hive](https://blog.csdn.net/sxjxrxm/article/details/94573127)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值