windows环境使用kettle进行数据采集及入库

最新推荐文章于 2024-07-05 15:05:13 发布
最新推荐文章于 2024-07-05 15:05:13 发布
阅读量4.4k 收藏 7
点赞数
分类专栏： kettle 文章标签： windows kettle 数据采集 数据入库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wsbgmofo/article/details/78854124
版权
本文提供了一步步的指南，讲解如何在Windows上利用Kettle进行数据采集和入库操作。首先，下载并启动Kettle，接着创建作业，包括数据采集和数据入库两个部分。数据采集涉及表输入和复制记录到结果组件，通过新建数据库连接和编写SQL查询获取数据。数据入库服务使用JSON OUTPUT、JavaScript、REST CLIENT等组件将数据发送到目标接口。最后，测试作业的运行，确保数据成功采集并入库。
摘要由CSDN通过智能技术生成

本贴只是针对小白写的一个最基本的数据采集及入库,大神勿喷


先下载kettle,下载安装包网上搜下吧,这里用的是pdi-ce-7.1.0.0-12.zip

由于是绿色版本,解压出来后直接双击data-integration目录下spoon.bat启动程序,如下图所示

一,新建作业(这里的作业指的是一个整体的服务,把数据采集和数据入库串起来),如下图

2,从左边通用里面双击1次START,2次转换并把转换改名为数据采集和数据入库,如下图所示

最低0.47元/天 解锁文章
猴样鬼相
关注
专栏目录
kettle的输出组件
HiterCoder
02-15 296
1、输出是转换里面的第二个分类。输出属于ETL的L，L就是Load加载。微软的Excel目前有两种后缀名的文件分别为：xls和xlsx。xls:2007年之前。xlsx:2007年之后。 　　Excel输出、Microsoft Excel输出的区别，Excel输出只能xls后缀名称的文件，Microsoft Excel输出可以生成xls后缀和xlsx后缀名称的文件的。 Excel输出，可...
使用kettle进行数据采集处理与数据关联操作
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
07-07 1143
本实验任务主要完成基于ubuntu环境的使用kettle进行数据采集处理与数据关联操作的工作。通过完成本实验任务，要求学生熟练掌握使用kettle进行数据采集处理与数据关联操作的方法，为后续实验的开展奠定ETL平台基础，也为从事大数据平台运维工程师、大数据技术支持工程师等岗位工作奠定夯实的技能基础。1、掌握使用kettle进行数据采集处理与数据关联操作Ubuntu16.04、Java1.8、Kettle7.1Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的
windows-kettle安装与配置
最新发布
随性、自由、放旷
07-05 556
3.2、进入data-integration目录,点击Spoon.bat，运行kettle,呈现如下则安装成功。3.1、进入data-integration目录，编辑Spoon.bat；2.1、将获取到pdi-ce-9.2.0.0-290.zip包解压缩。
kettle的下载、安装和初步使用（windows平台下）（图文详解）
weixin_34334744的博客
11-07 1049
kettle的下载 　　Kettle可以在http://kettle.pentaho.org/网站下载 http://sourceforge.net/projects/pentaho/files/Data%20Integration/7.1/pdi-ce-7.1.0.0-12.zip/downloa...
【ETL工具】Kettle入门介绍 与 Windows 中的 基本 操作（详细图文并茂）
康师傅没有眼泪
02-12 6541
对于企业或行业应用来说，经常会遇到各种数据的处理，转换，迁移，掌握一种etl工具的使用，必不可少，这里要学习的ETL工具是——Kettle，现在已经更名为PDI。 Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，绿色无需安装，Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出，Kettle允许管理来自不同数据库的数据，提供一个图形化的用户环境来描述想做什么，无需关心怎么做
使用kettle做数据抽取流程
耕耘
10-12 2316
Kettle 是一个功能强大的 ETL 工具，用于实现数据的抽取、转换和加载。本文介绍使用 Kettle 进行数据抽取的基本流程
使用kettle工具定时抽取mysql数据到hbase集群的表中（一）
java从入门到放弃
06-17 2445
前言 最近由于工作中的项目将要用到大数据和底层数据抽取，所以花了些时间研究了相关的技术。已经整理出了相关的文档上传到了csdn，但是现在上传的资源不能自己设置免费， 系统自动生成了5积分才能下载，所以打算在博客中写出来。如果有不对的地方欢迎指正。 简介 1.hadoop： 大数据处理框架，三个基本组件hdfs,yarn,Mapreduce 2.hbase：和hadoop配合使用，结构...
Linux服务器使用kettle进行数据采集及入库
wsbgmofo的博客
12-21 5137
1,安装JDK环境,这里不多说 2,新建kettle目录,下载压缩包,这里用的是pdi-ce-7.1.0.0-12.zip 链接：https://pan.baidu.com/s/1gUVubCtQRNaedNmrOBUs2Q 提取码：ibnt 3,上传下载的文件到Linux服务器,输入rz,如果没有安装,则输入yum -y install lrzsz 4,解压,输入unzip pdi-...
kettle案例-kettle分库分表导入数据
高新富的博客
08-24 5062
1.案例背景说明 1.该项目为互联网电商项目,随着互联网金融业务的发展,订单量逐渐的增大; 2.当前订单总量为 20000万 3.当前当前订单表为10张(ebiz_third_order),分表分别为 ebiz_third_order_0 ebiz_third_order_1 ebiz_third_order_2 ebiz_third_order_3 ebiz_third...
kettle8.3.0新版[ETL工具,可以在Windows、Linux、Unix上运行]
07-20
kettle8.3.0[可以在Windows、Linux、Unix上运行]的版本，提供了网盘下载地址。
kettle数据抓取操作手册
07-11
kettle数据抓取操作手册
kettle动态设置输入文件路径
08-11
NULL 博文链接：https://skying007.iteye.com/blog/2222481
（2）Kettle数据抽取--增量抽取
03-11
Kettle数据抽取--增量抽取，详细操作教材
kettle 唯一行（哈希值）
stone_tomcate的博客
07-16 1219
唯一行（哈希值）步骤用于删除重复的行，仅保留唯一的匹配项，可根据字段来剔重，多个字段间的关系是“并且”，配置信息如图1所示。 下文详细解释各控件的含义： 1、转换步骤名称：步骤的名称，在单一转换中，名称必须唯一。 2、使用存储的记录值进行比较？：勾选之后，会将指定的字段值放置...
Oracle通过kettle工具用hash算法实现分表插入数据
奋斗的阿杰的博客
06-01 270
Oracle通过kettle工具用hash算法实现分表插入数据 1；建表 2；kettle示例 3；测试结果
4.2Kettle数据抽取——HTML网页的数据抽取
weixin_51063182的博客
10-22 1927
Kettle数据抽取——HTML网页的数据抽取
Kettle数据抽取实战之四：网页数据抽取
小海鲜的博客
09-27 3729
1.运行Kettle，在菜单栏中单击“文件”选项，在弹出的下拉菜单中选择“新建”-“转换”选项，在打开的界面中选择“输入”-“生成记录”选项，在“查询”中选择“HTTP client”选项，在“输入”中选择“Get data form XML”选项，在“转换”中选择“字段选择”选项，将它们拖拽到中间工作区域，并建立及诶单链接，生成界面如下图 2.双击打开“生成记录”对话框，在“名称”列输入“url”，在“类型”列输入“String”，在“值”列输入网址：https://services.odata.org
Kettle数据采集教程：从入门到精通
"kettle教程手把手教你使用kettle进行数据采集，全面涵盖所有组件，可做学习及工具书" Kettle是一款强大的ETL（提取、转换、加载）工具，广泛应用于数据集成和大数据处理场景。它由Pentaho公司开发，以直观的图形化...
评论 8
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值