使用Kettle读取Excel文件中的数据，存储在MySQL中

已于 2022-07-18 15:41:38 修改
阅读量1k 收藏 4
点赞数
分类专栏： Kettle 文章标签： mysql 数据库 hive etl
于 2022-07-18 15:37:12 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_54928486/article/details/125851540
版权

使用Kettle读取Excel文件中的数据，存储MySQL中

  • 1、资料

    image-20220718104209132

  • 2、分析

    • 这是一个转换程序

    • 输入︰读取这个Excel文件

    • 转换︰不需要实现转换

    • 输出∶存储到MySQL中的表中

      • 将连接MySQL的工具放入Kettle的lib目录中，建议只放有bin的jar包

    image-20220718111345193
    image-20220718111840546
    重启Kettle

    • 数据库 : kettle_demo

      create database kettle_demo;

      image-20220718105407591

    • 表 : t_user

      让Kettle根据上游的数据自行创建

  • 3、实现

    • step1 : 构建转换流程图

      • 新建保存
        image-20220718102123035

      • 定义输入，输出

最低0.47元/天 解锁文章
小龙Hibernation
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Kettle（4）：excel数据抽取到mysql
u013938578的博客
01-22 1349
Kettle要想连接到MySQL，必须要安装一个MySQL的驱动，就好比我们装完操作系统要安装显卡驱动一样。我这边直接使用上一篇导出的excel:file_user.xls。1.1 准备Excel文件。在mysql中创建数据库。
kettle遍历抽取某目录下Excel文件数据
yanmingzi的专栏
01-07 3132
第一步：新建获取文件名转换 1、设置文件路径及匹配正则表达式 2、获取字段 3、拖入复制记录到结果 第二步：新建抽取数据转换 1、设置文件目录变量 2、设置工作表名称 3、获取设置字段 4、设置表输出对象及字段映射 第三步：创建执行作业 1、拖入start控件 2、拖入转换控件设置获取文件目录 3、使用 JavaScript 设置变量 //获取上一步的信息列表 var result_list=previous_result.getRow
kettle开发篇-批量读取EXCEL文件-Day5
qq_29061315的博客
12-03 2014
前言： 虽然目前我们大多数数据从数据库取数或者爬虫获取了，但是有些情况下我们需要对经营数据进行加工，这些数据只能给部分管理者查看，因此需要单独建立经营分析的库来存储手工的数据，而能大批量处理手工数据的地方，避免不了要去接触EXCEL。EXCEL作为办公软件的三剑客，在日常工作中出场率也太高了吧。下面来介绍怎么批量获取我们需要的数据。 一、批量获取数据的前提条件 1、公共的字段名 竟然是批量...
批量读取EXCEL文件——kettle开发05
最新发布
java程序员的蜕变之路
05-24 476
批量获取数据，当然这些数据的列名，基本上是长一样，这样我们才能批量将相似的数据存到对应的同一个表里面，然后用于经营分析。比如我们获取10个月的用电数据，然后这10个月的电费是分为10个EXcel存储的。EXCEL中的列名分别是用电日期、用电单位、用电度数、电价、电费。当然我们可以因为需要的改变，可以在第8 9 10个月的EXCEL表中增加抄表人、确认时间等。但他们主体都是前面说到的用电日期、用电单位、用电度数、电价、电费，只是我们的底表需要多增加两个字段来存储抄表人、确认时间。
kettle读取文件目录下的数据结构一致的所有数据文件信息和内容
热门推荐
真正的错误是，当你知道应该如何去提高时仍然选择做一名初学者！
07-13 1万+
为了避免文本文件在导出的数据时过大，分别导出在多个文件文本中。怎么利用kettle读取文件目录下的数据结构一致的所有数据文件信息和内容？如下图所示： 其实在kettle中有step为Get File Names 和Text Input两个步骤，可以通过设置这两个步骤的属性来实现在文件目录下读取指定文件后缀名的文件的信息和数据。 通过这样的设置文件信息（文件名，大小，路径等）可以是一个流
kettle入门级操作第一篇（读取excel、输出excel）
weixin_41160534的博客
08-11 1万+
目录 一、excel 读取并更改信息格式 1读取信息 1）、文件 2）、工作表 3）、错误处理 4）字段 二、数据更改 1、数值类型保留小数 2、时间类型规范格式 一、excel 读取并更改信息格式 1读取信息 组件位置：转换-》输入-》Excel 输入 组件使用： 1）、文件 表格类型（引擎）：Excel 97-2003 XLS (JXL) ： 读取03版本...
Kettle-2-问题总结
06-01 1893
问题总结 问题一、 错误连接数据库 [bigdata2-MySQL] : org.pentaho.di.core.exception.KettleDatabaseException:  Error occured while trying to connect to the database Driver class 'org.gjt.mm.mysql.Driver' could not
用kettle进行Excel文件输入，MySQL数据表输出
ssf_2802的博客
10-29 2827
用kettle进行Excel文件输入，MySQL数据表输出 一， 连接数据库 按F3 二， Excel输入 首先将我们的Excel表在浏览里找到并添加（如果表的后缀名是.xsxl，选择2007年版本的Excel） 然后从工作表中选择表一 再获取字段，并进行预览 点确定 三，MySQL输出 首先输入自己的目标表**（指定数据库字段要勾选）** 然后执行SQL 执行成功后点击确定 在数...
KETTLE包，读取数据
01-20
1. 数据源支持：Kettle能够读取多种类型的数据源，包括但不限于数据库（如MySQL、Oracle、SQL Server等）、文件（CSV、XML、Excel、JSON等）、Web服务、云存储（如Amazon S3）以及NoSQL数据库（如MongoDB、Cassandra...
数据迁移kettle
04-10
在本实例中，我们将探讨如何使用Kettle进行数据迁移，特别是针对MySQL数据库的操作。 首先，我们需要了解Kettle的基本工作原理。Kettle以作业（Job）和转换（Transformation）的形式组织数据处理流程。作业通常用来...
java配置文件动态配置excel导出动态数据并发送email
04-09
在Java开发中，有时我们需要根据业务需求动态生成Excel文件，并将其作为附件发送电子邮件。这个过程涉及到几个关键的技术点，包括Java配置文件的使用、Excel的数据动态生成、以及邮件的发送。接下来，我们将深入探讨...
Kettle数据转换
08-04
Kettle支持多种数据源，包括关系型数据库（如MySQL、Oracle、SQL Server等）、文件系统（CSV、Excel、XML等）、云服务（如Amazon S3）、NoSQL数据库（MongoDB、Cassandra等），以及Hadoop生态系统（HDFS、Hive、...
kettle中文使用介绍
03-13
Kettle支持多种数据源，包括数据库（如MySQL、Oracle、SQL Server等）、文件系统（CSV、XML、Excel等）、云服务（如AWS S3、Google BigQuery）、API接口等。 4. **数据转换步骤** - **输入步骤**：如"表输入"用于...
kettle从Excel中读取数据导入数据库
weixin_33795833的博客
11-13 880
kettle是个开源的ETL工具，能将多种形式的数据源数据抓取到数据库中。 将Excel文件中的数据导入数据库。 1.创建一个转换，单击文件->文件->转换。 2.从输入菜单中选择Excel输入。 3.配置要导入的 Excel文件，点击浏览选择文件。 如果想读取文件夹下以.xls为后缀的文件，kettle支持正则表达式，在规则表达式中写入...
利用kettle组件导入excel文件到数据库
neweastsun的专栏
11-14 1万+
一个实战的示例，利用kettle组件导入excel文件到数据库，然后通过java代码调用，完整有效，自由掌控。
记录使用Kettle导入excel数据心得
qq_44381427的博客
10-23 1948
Kettle刚用的时候发现了很多问题，网上的资料也不多，简单记录一下遇到的一些问题，和一些使用技巧。 问题 1）kettle读取excel格式固定，一个excel输入节点，字段填写后是按顺序把第n列的数据给第n个字段，不是按表头去赋值的，也就是说自动获取表头字段不能随意地改变顺序、删除。 2）excel输入要注意选择sheet，不选他会把所有sheet都读入，有些sheet可能数据连格式都不一样。 3）js脚本输入字段是中文，想要使用这个字段需要先赋值给英文变量，比如输入有个“姓名”需要先写 var nam
Kettle之批量读取excel文件内容实现批量下载功能
hyly_zhard的博客
11-28 2453
整个流程是这样的： 大致的思想是这样的，start开启一个job。 步骤二 读取Excel文件中的链接，然后将记录复制到结果中。 步骤三 其中的代码： // //获取前一个步骤的所有结果集数据 var prevRow=previous_result.getRows(); //如果结果集数据为null或者没有数据，直接返回false if(prevRow == null &&amp......
kettle中怎么读取excel数据
06-09
要在Kettle中读取Excel数据，可以使用"Microsoft Excel Input"步骤。以下是一些基本步骤： 1. 在Kettle设计器中打开您的转换。 2. 从左侧的"Design"选项卡中，从"Input"类别中拖动"Microsoft Excel Input"步骤到您的工作区。 3. 右键单击步骤并选择"编辑"选项。 4. 在"文件"选项卡上，选择您要读取的Excel文件和工作表。 5. 在"工作表"选项卡上，选择您要读取的列和行范围。 6. 在"字段"选项卡上，将Excel列映射到输出字段。 7. 单击"确定"按钮保存更改，并运行您的转换以读取Excel数据。 请注意，您需要在计算机上安装Microsoft Excel软件才能使用"Microsoft Excel Input"步骤。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值