程序员小sister的烦恼_快速上手大数据ETL神器Kettle(xls导入mysql)_kettle批量输入xlsx(1)

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip204888 （备注大数据）

正文

一文快速搞懂系列讲究快速入门掌握一个新的大数据组件,帮助新手了解大数据技术,以下是系列文章:

文章传送门:

一文快速搞懂Kudu到底是什么

一文快速了解Elastic Search 开源搜索引擎（技术选型+启动命令）

一文快速了解ClickHouse 战斗民族的开源搜索引擎（超详细解读+快速入门）

一文快速搞懂系列__一文快速搞懂SuperSet[实战案例]

这是一文快速搞懂系列的第五篇:一文快速大数据ETL神奇Kettle

程序员小姐姐的烦恼

公司来了个漂亮的程序员小姐姐叫小花，她刚大学毕业，项目经理安排她这样一项工作：

项目经理想要让她将这些数据导入到MySQL中来。
小花刚来，急得团团转，不知所措，机会来了。

数据抽取的需求

需要从Excel中将这些用户的数据，使用Kettle抽取到MySQL中

准备工作

为了完成本案例，我们需要准备以下几件工作：

找到小姐姐的Excel文件

在资料/测试数据 文件夹中可以找到user.xlsx文件
4.3.2 在MySQL数据库中创建数据库
为了方便将Excel文件中的数据抽取到MySQL中，我们必须要创建一个名字叫kettle_demo的数据库，后续Excel中的数据会装载到该数据库的表中。

在DataGrip中右键点击MySQL连接，选择New/Schema

在创建数据库的对话框中输入kettle_demo，点击Execute

我们可以看到kettle_demo数据库名称就已经创建好了

4.3.3 在kettle中加载MySQL驱动
Kettle要想连接到MySQL，必须要安装一个MySQL的驱动，就好比我们装完操作系统要安装显卡驱动一样。加载MySQL驱动只需以下两步：
1.将资料中的 MySQL jdbc 驱动包mysql-connector-java-5.1.47.jar和mysql-connector-java-8.0.13.jar导入到 data-integration/lib 中

3.重启Kettle即可

构建Kettle数据流图

效果图：

开发步骤
1.在Kettle中创建一个转换（两种方式）
(1)点击菜单：文件/新建/转换
(2)点击按钮：

(3)快捷键：Ctrl + N

2.从左边的核心对象中，分别拖入「输入/Excel输入」、「输出/表输出」两个组件到中间区域

3.然后按住Shift键，在 「Excel输入」组件上点击鼠标左键，拖动到「表输出」组件上，连接两个组件，这样数据流图就构建好了

配置Kettle数据流图中的组件

刚刚已经把数据流图构建好了，那么Kettle就可以将Excel文件中的数据抽取到MySQL中吗？
显然是不行的。Kettle根本不知道要将哪个Excel文件中的数据，抽取到哪个MySQL中。我们需要配置这两个组件，告诉Kettle从哪个Excel文件中抽取，以及将数据装载到哪个MySQL中。
4.5.1 配置Excel输入组件
1.双击Excel输入组件，会弹出一个对话框，我们可以再该对话框中配置该组件

2.因为此处要抽取的Excel文件为Excel 2007版本，所以指定表格类型为Excel 2007 XLSX (Apache POI)

3.随后我们需要找到要抽取的那个Excel文件，点击「浏览」按钮，找到 「资料/测试数据/user.xlsx」文件

4.再点击旁边的「增加」按钮，切记：一定要点击增加按钮哦！否则没有效果！

5.在弹出菜单中，点击「Sheet1」工作簿，并点击 「>」 按钮移动到右边。

6.点击「字段」选项卡，点击「获取来自头部数据的字段…」按钮，Kettle会从Excel中读取第一行字段名称。

7.将 age 字段的格式设置为#，register_date的格式设置为 yyyy-MM-dd HH:mm:ss。

8.点击「预览记录」按钮查看抽取到的数据。

9.点击「确定」按钮保存。

4.5.2 配置MySQL组件
4.5.2.1 创建数据库连接
要使用Kettle操作MySQL，必须要建立Kettle与MySQL的连接，否则Kettle也不知道操作哪个MySQL库。
1.双击「表输入」组件，会自动弹出配置窗口，点击「新建」按钮

2.配置MySQL连接
(1)输入连接名称，此处用mysql_开头，数据库名称kettle_demo为结尾
(2)在连接类型列表中，选择MySQL
(3)输入连接方式:
(4)输入MySQL的连接参数

3.点击测试按钮，测试Kettle是否能够正确连接到MySQL
4.点击确认保存，到这里数据库连接就应该创建好了。

4.5.2.2 使用Kettle在MySQL中自动创建表
要保存数据到MySQL，必须先要创建好表。那么，我们是否需要自己手动在MySQL中创建一个表，用来保存Excel中抽取过来的数据呢？
答案是：不需要。Kettke可以自动为我们在MySQL中创建表。
1.输入目标表的名称为：t_user，后续Kettle将在MySQL中创建一张名为 t_user 的表格。

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注大数据）

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

的资料的朋友，可以添加V获取：vip204888 （备注大数据）**
[外链图片转存中…(img-t1LYnGhy-1713420568241)]

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！