kettle数据抽取--抽取文本数据

最新推荐文章于 2024-02-23 09:00:34 发布
最新推荐文章于 2024-02-23 09:00:34 发布
阅读量1.4k 收藏 3
点赞数
文章标签： java 开发语言 etl
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fxxhmn/article/details/127785079
版权

一.tsv文件抽取

1.通过使用Kettle工具，创建一个转换tsv_extract，添加“文本文件输入”控件、“表输出”控件以及Hop跳连接线，具体如图所示。

 

2.双击“文本文件输入”控件，进入“文本文件输入”界面

 单击【浏览】按钮，选择要抽取的文件tsv_extract.tsv。单击【增加】按钮，将要抽取的TSV文件添加到转换“tsv_extract”中。

 

单击“内容”选项卡，清除分隔符处默认分隔符“；”并单击【Insert TAB】按钮，在分隔符处插入一个制表符；取消勾选“头部”复选框。

单击【预览记录】按钮，查看文件tsv_extract.tsv的数据是否成功抽取到文本文件输入流中。

 

3.配置表输出控件

双击“表输出”控件，进入“表输出”控件的配置界面。单击【新建】按钮，配置数据库连接，配置完成后单击【确认】按钮。

 

单击目标表右侧的【浏览】按钮，获取目标表，即数据表tsv。

 勾选图4-13中的“指定数据库字段”复选框。

 

单击“数据库字段”选项卡,再单击【输入字段映射】按钮，弹出“映射匹配”对话框,将“源字段”选项框的字段和“目标字段”选项框对应的字段进行映射匹配。

 

“表输出”控件配置的最终效果，具体如图所示。

 

3.运行转换

单击转换工作区顶部的     按钮，运行创建的tsv_extract转换。结果如图

 在数据库中结果如图

二.CSV文件的抽取

1.通过使用Kettle工具，创建一个转换csv_extract，并添加“CSV文件输入”控件、“表输出”控件以及Hop跳连接线，具体如图所示。

 2.配置CSV文件输入控件

双击“CSV文件输入”控件，进入“CSV文件输入”界面。单击【浏览】按钮，选择要抽取的文件csv_extract.csv。

单击【获取字段】按钮，Kettle自动检索CSV文件，并对文件中的字段类型、格式、长度、精度等属性进行分析。 

 单击【预览】按钮，查看文件csv_extract.csv的数据是否抽取到CSV文件输入流中。

 

3.配置表输出控件

双击“表输出”控件，进入“表输出”控件的配置界面。单击【新建】按钮，配置数据库连接，配置完成后单击【确认】按钮。

 单击目标表右侧的【浏览】按钮，获取目标表，即数据表csv；勾选“指定数据库字段”的复选框。

 单击“数据库字段”选项卡,再单击【输入字段映射】按钮，弹出“映射匹配”对话框,将“源字段”选项框的字段和“目标字段”选项框对应的字段进行映射匹配。

 表输出”控件配置的最终效果，具体如图所示。

 

4.运行转换

单击转换工作区顶部的     按钮，运行创建的csv_extract转换。运行结果如图

 

 

在数据库中结果如图

fxxhmn
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
PDF 文本抽取 （Kettle 插件）
08-10
这个kettle 的插件，它可以从一个或多个 PDF 文件中抽取文本内容，抽取后的文本一页作为一行记录，便于后续处理，如写入数据库等等。 帮助手册 http://www.xgndata.com/resources/kettle/PFR_UserGuide_zh_CN.pdf 带 kettle 的完整版本下载http://www.xgndata.com/resources/kettle/kettle_3.2_xgn.zip 这个一个共享软件，需要注册,未注册有部分功能限制
KETTLE 入门 (ETL) - 数据抽取工具 (新手 教程)
热门推荐
超级英雄吉姆的博客
11-20 2万+
最近在使用kettle这个工具,如果你看到我这篇文章,那么你一定是寻找相关工具或者正在使用,而本文的适用对象是使用此工具的新手或者想了解一些关于kettle的人群,如果你对此工具应用比较熟练,发现文章中的错误请告知我,我会尽快修改避免误导他人,感谢你的建议和阅读 软件的安装: http://mirror.bit.edu.cn/pentaho/Data%20Integration/ 通...
深入了解Kettle工具：数据集成与转换的利器
最新发布
里查叔叔
02-23 664
Kettle，全称为Kettle Tool，是一款开源的ETL（Extract-Transform-Load，即数据抽取、转换和加载）工具，由Pentaho公司开发。它提供了丰富的图形化界面和易于使用的拖拽操作，使得用户可以轻松地设计复杂的数据集成和转换流程。Kettle支持多种数据源和数据目标，包括关系型数据库、NoSQL数据库、文件、API等，可以满足各种数据集成需求。总之，Kettle作为一款开源的ETL工具，以其强大的功能和灵活性赢得了广泛的好评和认可。
kettle.docx
10-17
详细介绍了强大的ETL工具 kettle的使用，从安装到资源库再到各种数据抽取（数据库、文本抽取），以及全量、增量、插入更新等抽取方式。
kettle 根据系统时间加正则表达式动态匹配获取多个文本文件
12-06
kettle 根据系统时间加正则表达式动态匹配获取多个文本文件
用kettle设计ftp上传操作手册
07-12
利用kettle数据抽取工具，编写了一个输出文本数据兵上传到ftp服务器的操作手册
（2）Kettle数据抽取--增量抽取
03-11
Kettle数据抽取--增量抽取，详细操作教材
ETL笔记——第四章 数据抽取（抽取文本数据）
haihaihai__的博客
10-29 800
通过Kettle工具抽取TSV文件tsv_extract.tsv中的数据保存至数据库test中的数据表tsv中，抽取CSV文件csv_extract.csv中的数据并保存至数据库test的数据表csv中。
使用kettle做数据抽取流程
耕耘
10-12 1676
Kettle 是一个功能强大的 ETL 工具，用于实现数据的抽取、转换和加载。本文介绍使用 Kettle 进行数据抽取的基本流程
第四章——数据抽取
m0_73539526的博客
10-01 2826
本文主要实现的是文本文件数据抽取和web数据抽取，抽取的结果均保存到数据库中的数据表中。
Kettle实现简单的数据抽取
牛梦林的博客
07-14 3396
kettle
通用全量抽取.rar
07-03
使用kettle实现的通用全量抽取，需要抽取的表配置到文本文件中。数据库连接需要自己情况重新配置调整，考虑到通用性，表结构创建需要自己提前在目标数据库中创建
kettle批量数据库操作流程脚本
02-12
kettle-dynamic-sources-batch本次资源包含了从多个数据库抽取数据到同一个数据库的批量操作脚本
ETL工具Kettle用户手册
02-09
目录 Kettle 3.0 用户手册 ...................................................................................................................... 1 Kettle 3.0 用户手册 ...................................................................................................................... 6 1. Kettle 介绍 ................................................................................................................................ 6 1.1 什么是kettle ............................................................................................................. 6 1.2 Kettle 的安装 ............................................................................................................ 6 1.3 运行Spoon ............................................................................................................... 6 1.4 资源库 ....................................................................................................................... 6 1.5 资源库自动登录 ....................................................................................................... 7 1.6 定义 ........................................................................................................................... 8 1.6.1 转换 ................................................................................................................... 8 1.6.2 任务 ................................................................................................................... 8 1.7 选项 ........................................................................................................................... 9 1.7.1 General 标签 ................................................................................................... 10 1.7.2 Look Feel 标签 ............................................................................................... 11 1.8 搜索元数据 ............................................................................................................. 12 1.9 设置环境变量 ......................................................................................................... 13 2. 创建一个转换或任务 ............................................................................................................. 13 3. 数据库连接(Database Connections) ...................................................................................... 14 3.1 描述 ......................................................................................................................... 14 3.2 设置窗口 ................................................................................................................. 14 3.3 选项 ......................................................................................................................... 14 3.4 数据库用法 ............................................................................................................. 15 4. SQL 编辑器(SQL Editor) ....................................................................................................... 16 4.1 描述 ......................................................................................................................... 16 4.2 屏幕截图 ................................................................................................................. 16 4.3 局限性 ..................................................................................................................... 16 5. 数据库浏览器(Database Explorer) ........................................................................................ 17 5.1 屏幕截图 ................................................................................................................. 17 5.2 描述 ......................................................................................................................... 17 6. 节点连接（Hops） ................................................................................................................ 18 6.1 描述 ......................................................................................................................... 18 6.2 转换连接 ................................................................................................................. 18 6.3 任务连接 ................................................................................................................. 18 6.4 屏幕截图 ................................................................................................................. 18 6.5 创建一个连接 ......................................................................................................... 19 6.6 拆分一个连接 ......................................................................................................... 19 6.7 转换连接颜色 ......................................................................................................... 19 7. 变量（Variables） .................................................................................................................. 20 技术资料，【Kette3.0 用户手册】 ©深圳市神盾信息技术有限公司，2008 第2 页/共202 页 7.1 变量使用 ................................................................................................................. 20 7.2 变量范围 ................................................................................................................. 20 7.2.1 环境变量 ......................................................................................................... 20 7.2.2 Kettle 变量 ...................................................................................................... 21 7.2.3 内部变量 ......................................................................................................... 21 8. 转换设置（Transformation Settings） .................................................................................. 22 8.1 描述 ......................................................................................................................... 22 8.2 屏幕截图 ................................................................................................................. 22 8.3 选项 ......................................................................................................................... 25 8.4 其它 ......................................................................................................................... 26 9. 转换步骤（Transformation steps） ....................................................................................... 27 9.1 描述 ......................................................................................................................... 27 9.2 运行步骤的多个副本 ............................................................................................. 27 9.3 分发或者复制 ......................................................................................................... 28 9.4 常用错误处理 ......................................................................................................... 29 9.5 Apache 虚拟文件系统（VFS）支持 .................................................................... 31 9.6 转换步骤类型 ......................................................................................................... 33 9.6.1 文本文件输入（Text Input） ........................................................................ 33 9.6.2 表输入（Table Input） ................................................................................... 45 9.6.3 获取系统信息（Get System Info） ............................................................... 47 9.6.4 生成行（Generate Rows） ............................................................................ 51 9.6.5 文件反序列化（De-serialize from file）（原来名称为Cube 输入） .......... 52 9.6.6 XBase 输入（XBase input） ......................................................................... 53 9.6.7 Excel 输入（Excel Input） ............................................................................ 54 9.6.8 XML 输入(XML input) .................................................................................. 58 9.6.9 获取文件名(Get File Names) ......................................................................... 61 9.6.10 文本文件输出(Text File Output) .................................................................... 62 9.6.11 表输出(Table output) ...................................................................................... 65 9.6.12 插入/更新(Insert/Update) ............................................................................... 68 9.6.13 更新（Update） ............................................................................................. 70 9.6.14 删除(Delete) .................................................................................................... 71 9.6.15 序列化到文件(Serialize to file)(以前是Cube Output) .................................. 72 9.6.16 XML 输出（XML output） ........................................................................... 73 9.6.17 Excel 输出(Excel Output) ............................................................................... 76 9.6.18 Access 输出（Microsoft Access Output） ..................................................... 78 9.6.19 数据库查询(Database lookup) ....................................................................... 80 9.6.20 流查询（Stream lookup） ............................................................................. 81 9.6.21 调用数据库存储过程(Call DB Procedure) .................................................... 83 9.6.22 HTTP 客户端(HTTP Cient) ............................................................................ 84 9.6.23 字段选择 (Select values) ............................................................................... 86 9.6.24 过滤记录(Filter rows) ..................................................................................... 89 9.6.25 排序记录（Sort rows） ................................................................................. 90 9.6.26 添加序列(Add sequence) ................................................................................ 91 9.6.27 空操作-什么都不做(Dummy-do nothing) ..................................................... 93 技术资料，【Kette3.0 用户手册】 ©深圳市神盾信息技术有限公司，2008 第3 页/共202 页 9.6.28 行转列(Row Normaliser) ................................................................................ 95 9.6.29 拆分字段（Split Fields）............................................................................... 97 9.6.30 去除重复记录(Unique rows) .......................................................................... 98 9.6.31 分组(Group By) ............................................................................................ 100 9.6.32 设置为空值(Null if) ...................................................................................... 101 9.6.33 计算器（Calculator） .................................................................................. 102 9.6.34 增加XML（XML Add） ............................................................................. 104 9.6.35 增加常量（Add constants） ........................................................................ 106 9.6.36 行转列（Row Denormaliser） ..................................................................... 107 9.6.37 行扁平化（Flattener） ................................................................................. 108 9.6.38 值映射（Value Mapper） ............................................................................ 110 9.6.39 被冻结的步骤（Blocking step） ................................................................. 111 9.6.40 记录关联（笛卡尔输出）（Join Rows-Cartesian Product）....................... 112 9.6.41 数据库连接（Database Join） ..................................................................... 114 9.6.42 合并记录（Merge rows） ............................................................................ 115 9.6.43 存储合并（Stored Merge） ......................................................................... 116 9.6.44 合并连接(Merge Join) .................................................................................. 117 9.6.45 JavaScript 值（JavaScript Value） ............................................................. 119 9.6.46 改进的JavaScript 值（Modified JavaScript Value） ................................ 127 9.6.47 执行SQL 语句（Execute SQL script） ...................................................... 129 9.6.48 维度更新/查询（Dimension lookup/update） ............................................ 132 9.6.49 联合更新/查询（Combination lookup/update） ......................................... 133 9.6.50 映射（Mapping） ........................................................................................ 134 9.6.51 从结果获取记录（Get rows from result） .................................................. 135 9.6.52 复制记录到结果（Copy rows to result） .................................................... 135 9.6.53 设置变量（Set Variable） ........................................................................... 136 9.6.54 获取变量（Get Variable） ........................................................................... 137 9.6.55 从以前的结果获取文件（Get files from result） ....................................... 138 9.6.56 复制文件名到结果（Set files in result） .................................................... 139 9.6.57 记录注射器（Injector） .............................................................................. 140 9.6.58 套接字读入器（Socket Reader） ................................................................ 141 9.6.59 套接字输写器（Socket Writer） ................................................................. 141 9.6.60 聚合行（Aggregate Rows） ........................................................................ 142 9.6.61 流XML 输入（Streaming XML Input） .................................................. 143 9.6.62 中止（Abort） ............................................................................................. 149 9.6.63 Oracle 批量装载（Oracle bulk loader） ...................................................... 151 10. 任务设置（Job Settings） ........................................................................................... 153 10.1 描述 ....................................................................................................................... 153 10.2 屏幕截图 ............................................................................................................... 153 10.3 选项 ....................................................................................................................... 153 10.4 其它 ....................................................................................................................... 154 11. 任务条目（Job Entries） ............................................................................................. 154 11.1 描述 ....................................................................................................................... 154 11.2 任务条目类型 ....................................................................................................... 155 技术资料，【Kette3.0 用户手册】 ©深圳市神盾信息技术有限公司，2008 第4 页/共202 页 11.2.1 特殊的任务条目 ........................................................................................... 155 11.2.2 转换 ............................................................................................................... 157 11.2.3 任务 ............................................................................................................... 159 11.2.4 Shell .............................................................................................................. 161 11.2.5 Mail ............................................................................................................... 163 11.2.6 SQL ............................................................................................................... 165 11.2.7 FTP ................................................................................................................ 166 11.2.8 Table Exists ................................................................................................... 168 11.2.9 File Exists ...................................................................................................... 169 11.2.10 Evaluation(javascript) ................................................................................... 170 11.2.11 SFTP .............................................................................................................. 171 11.2.12 HTTP ............................................................................................................. 173 11.2.13 Create file ...................................................................................................... 175 11.2.14 Delete file ...................................................................................................... 176 11.2.15 Wait for file ................................................................................................... 177 11.2.16 File compare .................................................................................................. 178 11.2.17 Put files with secureFTP ............................................................................... 180 11.2.18 Ping a host ..................................................................................................... 181 11.2.19 Wait for .......................................................................................................... 182 11.2.20 Display Msgbox info ..................................................................................... 183 11.2.21 Abort job ....................................................................................................... 184 11.2.22 XSL transformation ....................................................................................... 185 11.2.23 Zip files ......................................................................................................... 186 12. 图形界面（Graphical View） ...................................................................................... 187 12.1 描述 ....................................................................................................................... 187 12.2 添加步骤或者任务条目 ....................................................................................... 188 12.2.1 拖放创建步骤 ............................................................................................... 188 12.2.2 从步骤类型树创建步骤 ............................................................................... 188 12.2.3 在你想要的位置创建步骤 ........................................................................... 189 12.3 隐藏步骤 ............................................................................................................... 189 12.4 转换步骤选项（右键上下文菜单） ................................................................... 189 12.4.1 编辑步骤 ....................................................................................................... 189 12.4.2 编辑步骤描述 ............................................................................................... 189 12.4.3 数据迁移 ....................................................................................................... 189 12.4.4 复制 ............................................................................................................... 189 12.4.5 复制步骤 ....................................................................................................... 189 12.4.6 删除步骤 ....................................................................................................... 190 12.4.7 显示输入字段 ............................................................................................... 190 12.4.8 显示输出字段 ............................................................................................... 190 12.5 任务条目选项（右键上下文菜单） ................................................................... 190 12.5.1 打开转换/任务 .............................................................................................. 190 12.5.2 编辑任务入口 ............................................................................................... 190 12.5.3 编辑任务入口描述 ....................................................................................... 190 12.5.4 复制任务入口 ............................................................................................... 190 技术资料，【Kette3.0 用户手册】 ©深圳市神盾信息技术有限公司，2008 第5 页/共202 页 12.5.5 复制选择的任务入口到剪贴板 ................................................................... 190 12.5.6 排列/分布 ...................................................................................................... 191 12.5.7 拆开节点 ....................................................................................................... 191 12.5.8 删除所有任务入口的副本 ........................................................................... 191 12.6 添加节点连接 ....................................................................................................... 191 12.7 运行转换 ............................................................................................................... 191 12.8 屏幕截图 ............................................................................................................... 191 12.9 执行选项 ............................................................................................................... 192 12.9.1 在哪里执行 ................................................................................................... 192 12.9.2 预览 ............................................................................................................... 192 12.9.3 使用安全模式 ............................................................................................... 192 12.9.4 日志级别 ....................................................................................................... 192 12.9.5 重放日期 ....................................................................................................... 192 12.9.6 参数 ............................................................................................................... 192 12.9.7 变量 ............................................................................................................... 192 12.10 设置远程或者从属服务器 ................................................................................... 193 12.10.1 概述 ....................................................................................................... 193 12.10.2 屏幕截图 ............................................................................................... 193 13. 日志（Logging） ......................................................................................................... 193 13.1 日志描述 ............................................................................................................... 193 13.2 屏幕截图 ............................................................................................................... 194 13.3 日志网格 ............................................................................................................... 194 13.3.1 转换日志网格 ............................................................................................... 194 13.3.2 任务日志网格 ............................................................................................... 195 13.4 按钮 ....................................................................................................................... 195 13.4.1 转换按钮 ....................................................................................................... 195 13.4.2 任务按钮 ....................................................................................................... 197 14. 网格（Grids） .............................................................................................................. 198 14.1 描述 ....................................................................................................................... 198 14.2 功能 ....................................................................................................................... 198 14.3 导航 ....................................................................................................................... 199 15. 资源库浏览器（Repository Explorer） ...................................................................... 199 15.1 描述 ....................................................................................................................... 199 15.2 屏幕截图 ............................................................................................................... 200 15.3 右键单击功能 ....................................................................................................... 200 15.4 备份/资源库 .......................................................................................................... 200 16. 共享对象（Share objects） ......................................................................................... 201
KETTLE之根据多表表名进行批量同步
03-13
网上看了很多的kettle通过将表名设置成变量，然后进行多表批量同步的帖子，发现多多少少都会有问题。而此类功能简单的问题对于新手而言需要花很多的时间去琢磨，本人作为新手也琢磨很久，最后经大神们指点验证，将较为正确的模板给放出来。希望可以帮助大家，具体的思路如下，要下载的同学们请先看下是否符合自己的需求： 多表批量同步思路： 第一步：通过TXT等文件批量写入表名，输入结果集 第二步：从结果集中获取结果，转换为变量值 第三步：抽取变量值，使表输入可以调用，完成表输出的整个数据同步 此同步容易造成问题的点在于文本文件中参数的设置和传输。而且容易忽略掉有个控件：设置变量 ，容易卡在变量无法取值上而不了了之。百度经验贴很多都省略了此步骤。导致困难重重。如果此同步模板下载有问题的可以留言，我会竭尽全力解答下。当然，也仅限于此功能，毕竟我也菜。
kettle工具
07-05
Kettle是一款国外开源的ETL工具，纯java编写，可以在Windows、Linux、Unix上运行，数据抽取高效稳定。 Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出
kettle实现较快速数据抽取
kingloong123的博客
05-25 2673
kettle实现数据抽取
kettle开发篇-读取CSV文件-Day2
qq_29061315的博客
11-30 890
前言： 现在很多系统没有存储到数据库中，比如实验室的检测设备、近红外、粒度分析仪等，但是这些数据对企业产品质量的评估有不可或缺的影响。通常这些数据只能通过导出为CSV格式的文件存储起来，由于CSV文件本身的行数限制和性能达不到数据分析的要求，因此需要我们将CSV文件的数据存储至数据库里面。本文介绍通过kettle来存储CSV的文件的数据，并在入库前将异常数据进行清洗。 一、什么是CSV文...
Kettle 抽取数据
欢迎来到快乐星球
12-30 1563
在项目使用中，会有许多需要操作多库数据的情况，比如新老库数据同步等 Oracle还能使用触发器绑定，而其他数据库没有办法 此时，可以使用**Kettle**进行操作数据抽取等操作
kettle数据抽取
09-09
Kettle是一个强大的数据集成工具，可以用来进行数据抽取、转换和加载（ETL）操作。数据抽取是ETL过程的重要一步，它主要负责从外部数据源中抽取数据并将其输入到Kettle的数据流中。 在Kettle中，数据抽取的步骤主要包括两个类别：输入类和文件抽取。 - 输入类的步骤用于从外部数据源中抽取数据，常用的步骤有“文本文件输入”和“表输入”。这些步骤通常在转换层完成，而准备要读取的数据的功能则在作业层完成。你可以通过选项名称来了解各个步骤和作业项的功能选项，如果需要详细的说明，可以查阅Kettle的在线帮助文档。 - 文件抽取是Kettle数据抽取过程中的一个重要步骤。它涉及到从源抽取数据并将其导入数据仓库或过渡区。在文件抽取中，可以通过两种方式来实现数据抽取：拉模式和推模式。拉模式是指数据仓库主动从源系统拉取数据，而推模式则是源系统将数据推送给数据仓库。选择数据抽取方式的一个重要因素是操作型系统的可用性和数据量，以及需要抽取哪部分源数据加载到数据仓库。 此外，Kettle还支持与Hadoop生态圈中的工具Sqoop进行数据抽取的集成。Sqoop可以在关系数据库和HDFS或Hive之间进行数据导入和导出。你可以使用Kettle的Sqoop输入和输出作业项来实现与Sqoop的集成，并进行数据抽取操作。 总结起来，Kettle是一个功能强大的数据集成工具，可以通过不同的步骤和作业项来实现数据抽取操作，并支持与Hadoop生态圈中的工具进行集成。你可以根据具体的需求选择适合的步骤和作业项来完成数据抽取任务。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值