使用kettle同步数据到hive

本文详细介绍如何在Kettle中配置Hive环境,包括复制Hive的jdbc jar文件至Kettle lib目录,修改plugin.properties文件,添加Hive DB连接,以及通过xshell创建数据库和表,加载数据并查询。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1. 在kettle中设置hive相关配置

首先在Hive的安装目录里(/usr/hdp/2.6.4.0-91/hive2/jdbc)找到Hive的jdbc的jar文件,

复制这个jar文件到Kettle的lib目录下(D:\data-integration\lib),

重启Kettle。

修改plugin.properties文件(D:\data-integration\plugins\pentaho-big-data-plugin)

active.hadoop.configuration=hdp25

2. 在kettle中添加hive的DB连接

3. 在kettle中添加数据库及表(使用xshell)

xshell连接信息:192.168.10.151 root 123456

任务

执行

进入hive

hive

创建数据库

create database test;

使用数据库

use test;

创建表

create table a(a int,b int) row format delimited fields terminated by ',';

从文件写入

load data local inpath '/home/hive/hive_test.txt' into table a;

查询数据

select * from a;

ps:修改本地host文件,使用域名访问

C:\Windows\System32\drivers\etc    hosts

192.168.10.151 hdp1.bdsoft.com  hdp1

192.168.10.152 hdp2.bdsoft.com  hdp2

192.168.10.153 hdp3.bdsoft.com  hdp3

Kettle是一种ETL工具,用于在关系型数据库和Hadoop生态系统之间进行数据入和转换。要将Kettle入到Hive,有两种主要思路:直接配置JDBC连接HiveServer2,通过表输入和表输出组件进行转换;或者先将关系型数据库中的表入到HDFS,再通过HDFSHive表。具体的步骤如下: 第一种方式是直接连接HiveServer2: 1. 配置Hive连接,设置JDBC连接HiveServer2。 2. 将关系型数据库中的表入到Hive的default库中。 第二种方式是先通过Hadoop File Output组件将关系型数据库中的表出至HDFS,再Hive表中。具体步骤如下: 1. 确认Kettle中的Hadoop集群信息。 2. 将Hadoop集群的配置文件复制到Kettle目录中的hdp26文件夹中。 3. 在Kettle目录中的plugin.properties文件中配置Hadoop使用的配置文件为hdp26。 4. 配置Hadoop File Output组件,选择出的文件位置、分隔符和字符编码等参数。 5. 文件出至HDFS后,使用执行SQL脚本组件执行加载命令将数据加载到Hive目标表中。 以上就是将Kettle入到Hive的两种常用方式。具体选择哪种方式取决于实际情况和需求。在使用Kettle连接Hive时,可以使用Hive的JDBC连接字符串,例如"jdbc:hive2://localhost:10000/default"。这样就可以成功将Kettle中的数据入到Hive中了。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [通过kettle将关系型数据库中表hive中](https://blog.csdn.net/shenzhibiao/article/details/99205692)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *2* *3* [使用kettle同步数据hive](https://blog.csdn.net/sxjxrxm/article/details/94573127)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

sxjxrxm

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值