简单使用Kettle将mysql的数据导入hive中去

最新推荐文章于 2023-06-02 22:12:32 发布
VIP文章 最新推荐文章于 2023-06-02 22:12:32 发布
阅读量1.4k 收藏 8
点赞数 1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_34566673/article/details/112059316
版权

**使用环境：
——hadoop260-cdh5.14.2版本
——hive1.1.0-cdh5.14.2版本
——mysql 5.6.50
**

首先去国内的镜像网站下载kettle的安装包：
下载完之后解压双击soppn.bat就可以运行了，第一次运行会有点慢，稍等片刻就好了。

拖动添加表输入和表输出
表输入是从mysql中获取数据（需要新建mysql连接，指定数据库名称）
表输出是将数据导出至hive中去在这里插入图片描述
需要将mysql的jar包和hive jdbc standalone的jar包复制到相关的lib文件夹下面去
mysql的jar包移动到此目录下面去

kettle的文件夹\pdi-ce-8.2.0.0-342\data
最低0.47元/天 解锁文章
是菜鸟啊
关注
  • 1
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
使用kettle将mysql中的数据导入到hive中
01-07
先说说思路：1是直接从mysql输出至hive中，另外一个是先将数据搞到hdfs中，再load一下，当然这只是textfile存储格式而言，若是ORC等其他列式存储的话建议先搞一个textfile格式的中间表，再insert into table select 插进去 太学浅，还是就第一种在人理解上最好的一种先记录一下 1.连接hive对外服务的组件hiveserver2 点击测试，OK之后会显示测试成功 测试直接将mysql中的stdcode表导入一下 抽取数据，插入的目标库中有没有对应为表的话点击下方的SQL，会默认执行DDL语句，create一下表，接下来NEXT 成功！当然具体的
大数据：通过Kettle把传统数据库数据导入到Hive中
金融科技和数据治理
04-29 8316
自从使用了Kettle工具之后，越来越发现她的强大，上篇文章主要介绍通过Kettle工具在传统数据库之间迁移数据，但很多业务场景是需要放到大数据上去的，如何通过Kettle工具把传统数据库中数据导入到Hive中，这是本文要详细讲解的。 一、准备 系统 版本 本地操作系统 Windows 10 pro ETL工具 Kettle 7.0.0 数据库 SQL Server 200...
MySQL中的业务数据该如何正确导入到Hive中 - Sqoop
阿年的博客
06-02 1961
业务系统中的数据如何导入到HDFS系统中，并加载到Hive数仓中
kettle对接hive
Qbit编程学习笔记
05-07 942
kettle没有自带hive的驱动,如果在界面上直接选Hadoop Hive 2/3会报找不到驱动的错误.按照网上的解决方案修改了plugins文件夹里的配置文件后仍然无法解决.还是需要把驱动jar放入kettle里才可以. docker cp /opt/hive/jdbc/hive-jdbc-2.3.2-standalone.jar hive-jdbc-2.3.2-standalone.jar ...
kettle 将mysql数据 导入到hive
SDKLHKJAS的博客
09-04 1214
先说说思路：一 是直接从mysql输出至hive中，另外一个是先将数据搞到hdfs中，再load一下，当然这只是textfile存储格式而言，若是ORC等其他列式存储的话建议先搞一个textfile格式的中间表，再insert into table select 插进去 下面分别介绍下两种方式 第一种： 1.连接hive对外服务的组件hiveserver2 点击测试，OK之后会显示测试成功 测试直接将mysql中的stdcode表导入一下 抽取数据，插入的目标库中有没有对应为表的话点击下.
Kettle提高表输出写入速度（每秒万条记录）
热门推荐
弧光
09-12 3万+
由于Kettle提高表输出写入速度太低，每秒速度三四十，实在忍受不了，参考一些资料之后进行了以下改变，我只进行了第一项的速度每秒五六千，加上其他的测试速度有达到3万多，有一分钟二十多万的记录，没测试极限，下为更改的地方： NO.1 mysql表输出的时候出现减速的原因可能是因为网络链接的属性设置 在此处添加参数： useServerPrepStmts=false rewriteBa...
Kettle整合Hive
Knight
03-20 1806
目录一.kettle与Hive整合数据准备从hive中读取数据把数据保存到hive数据库执行Hive的HiveSQL语句 一.kettle与Hive整合 1、从虚拟机下载Hadoop的jar包 /export/servers/hadoop-3.1.3/share/hadoop/common/hadoop-common-3.1.3.jar 2、把jar包放置在\data-integration\lib目录下 3、重启kettle，重新加载生效 关掉之前打开的kettle重新启动！！ 数据准备 1、连接hiv
kettle实现MySQL数据库向hive数据仓库大数据同步经验分享
tomalun的专栏
01-15 2561
一、同步性能测试 1、测试环境信息 kettle：版本8.2，carte独立部署，内存参数-Xms1024m -Xmx4096m mysql数据库：8核CPU，CPU主频2.20GHz，16G内存，版本号5.7.25 大数据环境采用CDH，包含HDFS、hive等组件 CDH集群服务器（共4台）：8核CPU，CPU主频2.20GHz，16G内存，CDH版本5.14.4 2、性能测试结果...
Kettle导出mysql数据到hive
programmerDingl的博客
08-13 410
Kettle导出mysql数据到hive 通过Kettle导出mysql数据到hive有两种方案： ​ 1. 将hive表直接作为表输出进行 先将数据上传到hdfs，然后执行SQL语句load到hive 具体步骤如下： (1）将hive安装目录下，lib里面的所有hive开头的jar包转移至kettle的大数据jar包目录下 ​ data-integration\plugins\pentaho-big-data-plugin\hadoop-configurations\hdp25\lib (2)
通过kettle将关系型数据库中表导入hive中
shenzhibiao的博客
08-11 2835
思路 要将关系型数据库中的表通过kettle导入到hive中，主要思路是两种：1.直接配置jdbc连接hiveserver2,通过表输入及表输出组件转换；2.先将关系型数据库中的表导入到hdfs中，再通过hdfs导入hive。现就这两种方式作以示例。 本人使用kettle版本为8.2，关系型数据库为mysql。 示例 一、直接连接hiveserver2 配置hive连接如下： 点击测试，成功连接...
Kettle将数据导入导Hive2
01-07
 本来将数据导入到hive，但是不知道什么原因太慢了，一小时200条数据，优化一波kettle，还是成效不大，因此改为借用hadoop file output 到hdfs，然后再load 到hive表里 一，正文 1.在转换里拖入big data/hadoop ...
本地简单kettle抽MySQL数据到ES中 案例.zip
07-24
本地简单kettle抽MySQL数据到ES中 案例.zip本地简单kettle抽MySQL数据到ES中 案例.zip 本地简单kettle抽MySQL数据到ES中 案例.zip本地简单kettle抽MySQL数据到ES中 案例.zip 本地简单kettle抽MySQL数据到ES中 案例....
使用Kettle同步mysql数据，增量同步教程执行步骤
10-24
使用Kettle同步mysql数据，增量同步,两个数据库数据同步
kettle集群搭建以及使用kettle将mysql数据转换为Hbase数据
08-24
kettle集群搭建以及使用kettle将mysql数据转换为Hbase数据
基于java的-28-“智慧食堂”设计与实现--LW-源码.zip
04-25
提供的源码资源涵盖了Java应用等多个领域，每个领域都包含了丰富的实例和项目。这些源码都是基于各自平台的最新技术和标准编写，确保了在对应环境下能够无缝运行。同时，源码中配备了详细的注释和文档，帮助用户快速理解代码结构和实现逻辑。 适用人群： 适合毕业设计、课程设计作业。这些源码资源特别适合大学生群体。无论你是计算机相关专业的学生，还是对其他领域编程感兴趣的学生，这些资源都能为你提供宝贵的学习和实践机会。通过学习和运行这些源码，你可以掌握各平台开发的基础知识，提升编程能力和项目实战经验。 使用场景及目标： 在学习阶段，你可以利用这些源码资源进行课程实践、课外项目或毕业设计。通过分析和运行源码，你将深入了解各平台开发的技术细节和最佳实践，逐步培养起自己的项目开发和问题解决能力。此外，在求职或创业过程中，具备跨平台开发能力的大学生将更具竞争力。 其他说明： 为了确保源码资源的可运行性和易用性，特别注意了以下几点：首先，每份源码都提供了详细的运行环境和依赖说明，确保用户能够轻松搭建起开发环境；其次，源码中的注释和文档都非常完善，方便用户快速上手和理解代码；最后，我会定期更新这些源码资源，以适应各平台技术的最新发展和市场需求。 所有源码均经过严格测试，可以直接运行，可以放心下载使用。有任何使用问题欢迎随时与博主沟通，第一时间进行解答！
C#，回文分割问题（Palindrome Partitioning Problem）算法与源代码
04-25
C#，回文分割问题（Palindrome Partitioning Problem）算法与源代码 1 回文串 “回文串”是一个正读和反读都一样的字符串，初始化标志flag=true，比如“level”或者“noon”等等就是回文串。 2 回文分割问题 给定一个字符串，如果该字符串的每个子字符串都是回文的，那么该字符串的分区就是回文分区。 例如，“aba | b | bbabb | a | b | aba”是“abababababa”的回文分区。 确定给定字符串的回文分区所需的最少切割。 例如，“ababababababa”至少需要3次切割。 这三个分段是“a | babbab | b | ababa”。 如果字符串是回文，则至少需要0个分段。 如果一个长度为n的字符串包含所有不同的字符，则至少需要n-1个分段。
node-v9.2.1.tar.xz
最新发布
04-25
Node.js，简称Node，是一个开源且跨平台的JavaScript运行时环境，它允许在浏览器外运行JavaScript代码。Node.js于2009年由Ryan Dahl创立，旨在创建高性能的Web服务器和网络应用程序。它基于Google Chrome的V8 JavaScript引擎，可以在Windows、Linux、Unix、Mac OS X等操作系统上运行。 Node.js的特点之一是事件驱动和非阻塞I/O模型，这使得它非常适合处理大量并发连接，从而在构建实时应用程序如在线游戏、聊天应用以及实时通讯服务时表现卓越。此外，Node.js使用了模块化的架构，通过npm（Node package manager，Node包管理器）,社区成员可以共享和复用代码，极大地促进了Node.js生态系统的发展和扩张。 Node.js不仅用于服务器端开发。随着技术的发展，它也被用于构建工具链、开发桌面应用程序、物联网设备等。Node.js能够处理文件系统、操作数据库、处理网络请求等，因此，开发者可以用JavaScript编写全栈应用程序，这一点大大提高了开发效率和便捷性。 在实践中，许多大型企业和组织已经采用Node.js作为其Web应用程序的开发平台，如Netflix、PayPal和Walmart等。它们利用Node.js提高了应用性能，简化了开发流程，并且能更快地响应市场需求。
贪心算法解决活动选择问题，Java版源码
04-25
贪心算法是一种在每一步选择中都采取在当前状态下最好或最优的选择，从而希望导致结果是全局最好或最优的算法策略。贪心算法在有最优子结构的问题中尤为有效。最优子结构的意思是局部最优解可以决定全局最优解。 附件中一个使用贪心算法解决活动选择问题（也称为会议时间安排问题）的 Java 示例代码。这个问题的目标是选择最大的活动数量，使得活动之间互不重叠。 在示例中，我们定义了一个 Activity 类来表示每个活动的开始和结束时间。然后，我们创建了一个活动数组，并使用 Arrays.sort() 方法按照活动的结束时间对它们进行排序。 接下来，我们遍历排序后的数组，使用贪心算法的策略选择活动。选择的标准是当前活动的开始时间是否晚于或等于之前选择的最后一个活动的结束时间。如果是，我们就选择这个活动，并更新 lastActivityEnd 为当前活动的结束时间。最后，我们打印出可以执行的最大活动数量。
小程序-2-“最多跑一次”微信小程序--LW-源码.zip
04-25
提供的源码资源涵盖了小程序应用等多个领域，每个领域都包含了丰富的实例和项目。这些源码都是基于各自平台的最新技术和标准编写，确保了在对应环境下能够无缝运行。同时，源码中配备了详细的注释和文档，帮助用户快速理解代码结构和实现逻辑。 适用人群： 适合毕业设计、课程设计作业。这些源码资源特别适合大学生群体。无论你是计算机相关专业的学生，还是对其他领域编程感兴趣的学生，这些资源都能为你提供宝贵的学习和实践机会。通过学习和运行这些源码，你可以掌握各平台开发的基础知识，提升编程能力和项目实战经验。 使用场景及目标： 在学习阶段，你可以利用这些源码资源进行课程实践、课外项目或毕业设计。通过分析和运行源码，你将深入了解各平台开发的技术细节和最佳实践，逐步培养起自己的项目开发和问题解决能力。此外，在求职或创业过程中，具备跨平台开发能力的大学生将更具竞争力。 其他说明： 为了确保源码资源的可运行性和易用性，特别注意了以下几点：首先，每份源码都提供了详细的运行环境和依赖说明，确保用户能够轻松搭建起开发环境；其次，源码中的注释和文档都非常完善，方便用户快速上手和理解代码；最后，我会定期更新这些源码资源，以适应各平台技术的最新发展和市场需求。 所有源码均经过严格测试，可以直接运行，可以放心下载使用。有任何使用问题欢迎随时与博主沟通，第一时间进行解答！
kettle 导入到hive
08-19
Kettle是一种ETL工具，用于在关系型数据库和Hadoop生态系统之间进行数据导入和转换。要将Kettle导入到Hive，有两种主要思路：直接配置JDBC连接HiveServer2，通过表输入和表输出组件进行转换；或者先将关系型数据库中的表导入到HDFS，再通过HDFS导入Hive表。具体的步骤如下： 第一种方式是直接连接HiveServer2： 1. 配置Hive连接，设置JDBC连接HiveServer2。 2. 将关系型数据库中的表导入到Hive的default库中。 第二种方式是先通过Hadoop File Output组件将关系型数据库中的表导出至HDFS，再导入Hive表中。具体步骤如下： 1. 确认Kettle中的Hadoop集群信息。 2. 将Hadoop集群的配置文件复制到Kettle目录中的hdp26文件夹中。 3. 在Kettle目录中的plugin.properties文件中配置Hadoop使用的配置文件为hdp26。 4. 配置Hadoop File Output组件，选择导出的文件位置、分隔符和字符编码等参数。 5. 文件导出至HDFS后，使用执行SQL脚本组件执行加载命令将数据加载到Hive目标表中。 以上就是将Kettle导入到Hive的两种常用方式。具体选择哪种方式取决于实际情况和需求。在使用Kettle连接Hive时，可以使用Hive的JDBC连接字符串，例如"jdbc:hive2://localhost:10000/default"。这样就可以成功将Kettle中的数据导入到Hive中了。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [通过kettle将关系型数据库中表导入hive中](https://blog.csdn.net/shenzhibiao/article/details/99205692)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *2* *3* [使用kettle同步数据到hive](https://blog.csdn.net/sxjxrxm/article/details/94573127)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值