Kettle spoon中mysql数据导入hive从建表到导数据解决方案参考

最新推荐文章于 2024-05-15 11:29:32 发布
最新推荐文章于 2024-05-15 11:29:32 发布
阅读量1.3w 收藏 20
点赞数
分类专栏： hadoop 大数据 hive mysql kettle与hive的交互 文章标签： 大数据 kettle mysql hive hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_27384505/article/details/79570470
版权
本文档详细介绍了如何使用Kettle进行MySQL到Hive的数据迁移，包括通过Kettle将MySQL数据导出到HDFS，以及从HDFS加载到Hive的过程。针对Kettle自带方法效率低的问题，提出了优化方案，强调了关键步骤如Hive表创建、字段格式设置和数据分隔符选择，确保数据导入的准确性和效率。
摘要由CSDN通过智能技术生成

最近在学习大数据的数据迁移，要从关系型数据库里导数据到hive数据库里，其中碰到了很多麻烦，曾试过使用sqoop方式导入数据不过功能不够全面比如表结构及数据筛选问题，现在使用kettle来进行数据迁移工作，其中碰到了很多问题不过都能给出相应的解决方案，如此写下这篇文档供各位工程师参考

 

那么如何将mysql数据导入到hive里呢，kettle里有自带方法，可以通过表输入和表输出来实现，不过自带的方法载入数据极其缓慢，不推荐使用这种方法

 

以下着重讲解我使用的方法

 

1，将mysql数据导入到hdfs里

 

我使用的是kettle7.0，hadoop是2.6，

最低0.47元/天 解锁文章
优荣月华
关注
  • 0
    点赞
  • 踩
  • 20
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
kettle 将mysql数据 导入到hive
SDKLHKJAS的博客
09-04 1266
先说说思路：一 是直接从mysql输出至hive中，另外一个是先将数据搞到hdfs中，再load一下，当然这只是textfile存储格式而言，若是ORC等其他列式存储的话建议先搞一个textfile格式的中间表，再insert into table select 插进去 下面分别介绍下两种方式 第一种： 1.连接hive对外服务的组件hiveserver2 点击测试，OK之后会显示测试成功 测试直接将mysql中的stdcode表导入一下 抽取数据，插入的目标库中有没有对应为表的话点击下.
通过KETTLE 生成MYSQL 到HIVE的建表语句
bxdandmf的博客
02-23 829
在数仓这块实在有太多想写的了，又感觉写得不专业不系统，始终没有动起手来，就零散写一些简单的小技巧和工具吧！ 通过KETTLE 生成MYSQL 到HIVE的建表语句：市场上这样的工具太少了，为了提升效率，简单写了一个作业来实现这个能力。 逻辑大致分为三步， 1.提供需要采集的业务库（mysql）的元数据读取权限，用于读取表 字段信息 2.通过构建SQL逻辑实现建表语句 3.建表语句追加方式输出 到文件 先看下实现的效果吧： 读取的资源库的表结构，然后生成建表语句，其中简单处理了一些字段...
ETL工具Kettle研究-3-MySQL数据导入HIVE
阿啄debugIT
02-04 1480
前言 .从数据库(mysql)中读取数据写入HDFS并建hive表。 在该转换中，需要配置2个DB链接（Mysql和HiveServer2），配置Hadoop集群（HDFS），配置子服务器（远程执行服务器）。 本实践的元数据文件：mysql-to-hive.ktr 1.数据库配置 主对象树->DB连接->新建->一般->Mysql->设置(填写数据库信息) 注意...
Window下安装kettle并配置MySQL驱动，实现表输入输出
最新发布
Trisyp的博客
05-15 1347
Window下安装kettle并配置MySQL驱动，实现表输入输出
Kettle （三）：mysql导入hive
小蚯蚓的博客
05-24 4881
一、实现功能 Kettle （三）：mysql导入hive 使用kettle将mysql中的数据导入hive，从而实现数据迁移。 二、环境 1.Centos7.4 2.CDH5.7.0 3.Kettle 8.0 4.JDK1.8 三、Kettle中建立数据库连接 1. 建立mysql数据库连接 （1） 新建mysql_local的数据库连接 （2） 输入mysql对...
通过kettle将关系型数据库中表导入hive中
shenzhibiao的博客
08-11 2886
思路 要将关系型数据库中的表通过kettle导入到hive中，主要思路是两种：1.直接配置jdbc连接hiveserver2,通过表输入及表输出组件转换；2.先将关系型数据库中的表导入到hdfs中，再通过hdfs导入hive。现就这两种方式作以示例。 本人使用kettle版本为8.2，关系型数据库为mysql。 示例 一、直接连接hiveserver2 配置hive连接如下： 点击测试，成功连接...
Kettle导出mysql数据到hive
programmerDingl的博客
08-13 438
Kettle导出mysql数据到hive 通过Kettle导出mysql数据到hive有两种方案： ​ 1. 将hive表直接作为表输出进行 先将数据上传到hdfs，然后执行SQL语句load到hive 具体步骤如下： (1）将hive安装目录下，lib里面的所有hive开头的jar包转移至kettle的大数据jar包目录下 ​ data-integration\plugins\pentaho-big-data-plugin\hadoop-configurations\hdp25\lib (2)
使用kettle将mysql中的数据导入到hive中
01-07
先说说思路：1是直接从mysql输出至hive中，另外一个是先将数据搞到hdfs中，再load一下，当然这只是textfile存储格式而言，若是ORC等其他列式存储的话建议先搞一个textfile格式的中间表，再insert into table select ...
Kettle将数据导入导Hive2
01-07
 本来将数据导入到hive，但是不知道什么原因太慢了，一小时200条数据，优化一波kettle，还是成效不大，因此改为借用hadoop file output 到hdfs，然后再load 到hive表里 一，正文 1.在转换里拖入big data/hadoop ...
kettle 从oracle数据库导数据到hive 表
03-23
由于公司要把oracle 数据库迁移到hive ，hbase 环境，特建议使用kettle做数据迁移，调试3个小时，终于调试成功，顺手写了个配置文档。
Kettle推送数据到Mysql数据库表时乱码.docx
11-22
Kettle 推送数据到 Mysql 数据库表时乱码解决方案 Kettle 是一个功能强大且流行的数据集成工具，广泛应用于数据抽取、转换和加载（ETL）过程中。然而，在使用 Kettle 将数据推送到 Mysql 数据库表时，可能会出现...
本地简单kettle抽MySQL数据到ES中 案例.zip
07-24
本地简单kettle抽MySQL数据到ES中 案例.zip本地简单kettle抽MySQL数据到ES中 案例.zip 本地简单kettle抽MySQL数据到ES中 案例.zip本地简单kettle抽MySQL数据到ES中 案例.zip 本地简单kettle抽MySQL数据到ES中 案例....
用sqoop将mysql的数据导入到hive表中
weixin_41279060的博客
01-22 1225
1、mysql的表结构如下： CREATE TABLE `student` ( `id` int(11) NOT NULL AUTO_INCREMENT, `stu_no` varchar(16) DEFAULT NULL, `name` varchar(64) DEFAULT NULL, `age` int(11) DEFAULT '0', `birthday` date
将mysql数据导入到hive
weixin_51737266的博客
11-06 4210
禁止转载
Kettle连接MySQL、HDFS、Hive
赵昕彧
04-08 4024
一、简介 hadoop版本：2.7.2 kettle（pdi）版本：8.3.0 使用方式：在windows上使用kettle连接到一台linux的hadoop。 二、操作 MySQL 1、将mysql-connector-java-XXX.jar拷贝到data-integration\lib目录下。 2、启动kettle，然后新建表输入，选择mysql，填入相应内容。 3、进行测试，如果没有问题则会成功。 HDFS 1、首先进入~\data-integration\plugins\pentaho-b.
MySQL中的业务数据该如何正确导入到Hive中 - Sqoop
阿年的博客
06-02 2211
业务系统中的数据如何导入到HDFS系统中，并加载到Hive数仓中
利用kettle实现hive数据直接导入到mysql
QvQ
08-24 3200
一直想利用kettle工具实现直接连接hive和mysql操作数据，在踩过很多坑后终于实现，故记录分享。 软件环境： Hadoop-2.7.1（单机）、apache-hive-2.3.5-bin、MySQL-5.6.1、pdi-ce-7.1.0.0-12（kettle） 一、首先需要配置hiveserver2并开启hive2客户端，kettle才能连接到hive。 ①、配置hive-site.xm...
Kettle_Spoon如何将MySQL数据抽取到clickhouse
04-04
Kettle Spoon可以通过以下步骤将MySQL数据抽取到ClickHouse： 1. 打开Kettle Spoon，创建一个新的转换（Transformation）。 2. 从左边的“输入”栏中选择“Table Input”组件，并将其拖到转换画布上。 3. 双击“Table Input”组件，进入组件配置界面。 4. 在“Connection”选项卡中，选择MySQL数据库连接，输入相关的连接信息。 5. 在“SQL”选项卡中，输入需要抽取的MySQL数据表的SQL语句。 6. 点击“Preview”按钮，预览数据是否正确。 7. 从左边的“输出”栏中选择“Clickhouse Output”组件，并将其拖到转换画布上。 8. 连接“Table Input”组件和“Clickhouse Output”组件。 9. 双击“Clickhouse Output”组件，进入组件配置界面。 10. 在“Connection”选项卡中，选择ClickHouse数据库连接，输入相关的连接信息。 11. 在“Mapping”选项卡中，进行字段映射配置。 12. 点击“OK”保存配置信息，并运行转换。 以上是一个简单的流程，具体配置还需要根据实际情况进行调整。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值