kettle实现爬虫

最新推荐文章于 2024-01-11 13:13:16 发布
最新推荐文章于 2024-01-11 13:13:16 发布
阅读量1.3k 收藏
点赞数
文章标签： kettle 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_53683186/article/details/132507542
版权

步骤概览

99afbada89fc1a530aa574a5b6118f41.png

获取请求

4e68abd735b556b897dc8638a2fde63a.png

请求地址

东方财富网股票请求

自定义常量数据

获取HTTP请求之前，必须先定义一个URL常量作为HTTP client的输入

d20d680b0644885118fd3ec8644048c9.png

34e1d49a44a159b51e3be1e694fe1a08.png

HTTP client

5a46b3bf02e8cca94a63c0066dba259f.png

注：此处得到的数据并不是原生的json字符串，自己可以用文本文件输出测试以下。如下图

27d9d554c1200e21ed5d1ef529285fa1.png

JavaScript脚本

此步骤用于清洗不符合格式的json字符串，并以返回变量

以下代码用于获取括号内的字符串

a2c9ee709b4f51fa77b87fbb70933d09.png

json输入

1b707bebb092fd5a21fd2e69012acdbf.png

路径的语法是jsonpath，获取data对象中的klines数组的每个元素

a958750d53ce44ac24dab75b3db78ff1.png

注：现在得到的数据是一行一行以逗号分隔的数据，需要将这一列拆分成多列

55dbbfd847b4a122b482e519510cdce2.png

拆分字段

fb2c19a46abe4e73a0f59ce96ce9b552.png

文本文件输出

665bb0c824598cbe3f10b01f078926a7.png

选一下分隔符

6767bb3e8d60e09c02ec6857cf292134.png

选一下字段

8d767e9a37cead398bebb32bf9c0ef73.png

李南想做条咸鱼
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
【某聘】傻瓜式爬虫charles+kettle
Liury
09-28 511
Kettle、Charles
Windows环境下自动化爬虫搭建及数据清洗（Kettle）
zt19970427的博客
05-10 890
根据业务需求，需要对Amazon电商平台中某个店铺下所有的SKU信息进行监控，数据更新周期为每天。 所使用的爬虫框架为scrapy，大致任务是从数据库中获取当前店铺的所有产品的ASIN,随后进行拼接产品url，爬取主要内容为产品星级、Rating数量、Reviews数量、大类排名及小类排名等。 自动化爬虫搭建步骤： 1.在爬虫脚本目录下构建autorun.bat，用于后续启动爬虫脚本，scrapy crawl 后面跟着的是spider文件里的name的值 2.按下Win+R,并且输入taskschd.m
4.2.1Kettle数据抽取——HTML网页的数据抽取
qq_57980484的博客
11-13 762
4.2.1Kettle数据抽取——HTML网页的数据抽取
Python爬虫+Kettle爬取和清洗网页数据
SweeneyH的博客
01-02 3653
爬虫爬取网页信息并结合ETL工具进行数据清洗处理
基于爬虫和Kettle的豆瓣电影的采集与预处理
yh1009的博客
01-11 1491
将豆瓣电影网上的电影的基本信息，比如：电影名称、导演、电影类型、国家、上映年份、评分、评论人数爬取出来，并将爬取的结果放入csv文件中，方便存储。6、在get_info函数中，同样构造请求URL，设置请求头，并发送GET请求以获取电影详情页的内容。7、使用lxml库解析电影详情页的内容，提取导演、电影类型、国家、上映时间、评分和评论人数等信息。每一个电影包括电影名称、导演、电影类型、国家、上映年份、评分、评论人数。1、导入所需的库，如re、time、requests、lxml、random和csv。
基于爬虫和Kettle的书籍信息采集与预处理
yh1009的博客
01-11 1793
一：爬虫1、爬取的目标将读书网上的书籍的基本信息，比如：封面、书名、作者、出版社、价格、出版时间、内容简介、作者简介、书籍目录、ISBN和标签爬取出来，并将爬取的结果放入数据库中，方便存储。2、网站结构图1读书网书籍类别详情此次实验爬取读书网页面中文学、小说、传记、青春文学、艺术、散文随笔、励志、人文社科、经济管理、励志十大类书籍。每一类书籍包括书名、价格、作者、出版社、ISDN、出版时间、封面以及书籍简介、作者简介、书目录和书籍所属类别。页面具体情况如图2所示。
kettle操作文档
04-11
网络爬虫通常包括URL列表管理、页面抓取、HTML解析、数据提取和存储等步骤，Kettle的步骤组合可以完美地实现这一过程。 五、Java与Kettle的结合 Kettle虽然是图形化工具，但其内部是基于Java的。因此，熟悉Java的...
kettle百度云链接.txt
06-16
pdi-ce-9.1.0.0-324 官方版本，官网下载
基于python爬虫数据处理(详解)
09-21
通过以上步骤，我们可以构建一个完整的Python爬虫数据处理流程，从获取网页数据到清洗、分析，最后存储到数据库或生成报告，实现数据的价值挖掘。在实际项目中，可能还需要考虑反爬策略、数据加密解密、多线程爬取等...
kettle数据抓取操作手册
07-11
kettle数据抓取操作手册
Kettle API(HTML格式)
11-02
ET工具KETTLE API、HTML格式
（1）Kettle数据抽取---全量抽取
03-11
（1）Kettle数据抽取---全量抽取
Springboot整合部分插件
01-19
本篇文章将深入探讨如何在Spring Boot项目中整合不同的插件，包括自定义注解实现AOP通知、集成Redis进行数据缓存、集成RabbitMQ实现消息队列以及简单的网络爬虫技术。 首先，让我们来看看自定义注解实现AOP（面向切...
Linux部署kettle并设置定时任务
weixin_51296247的博客
09-06 3010
Linux部署kettle并设置定时任务
kettle抓取网页上的数据存储到数据表中
bird_tp的博客
11-09 9451
今天做一个利用kettle抓取网页数据存储到数据表中的demo，如抓取AA市的空气质量AQI 1.查看网页信息 2.按下开发者工具，查看获取空气质量日报的请求 3.弄懂了网页请求，并通过查看数据格式，可以在数据库中建表，表格如下 4.接下来就是在kettle中进行操作了 kettle的整体流程如下： 下面进行分级讲解，首先新建转换，然后建立数据库连接，这些我就不详细贴图...
Python爬虫数据处理
热门推荐
python233的博客
06-09 1万+
一、首先理解下面几个函数 设置变量 length()函数 char_length() replace() 函数 max() 函数 1.1、设置变量 set @变量名=值 set @address='中国-山东省-聊城市-莘县'; select @address 1.2 、length()函数 char_length()函数区别 select length('a') ,char_l
1.3 Kettle从web抽取数据
最暖一天
08-05 1万+
一. 基于文本文件的web客户端抽取 由于kettle使用了Apache VFS系统,VFS系统可以像处理文本文件一样处理http文件，所以在‘文本文件输入’步骤中可以直接将URL作为文件名： 二. HTTP客户端使用HTTP client 步骤，它调用URL并返回一个字符串作为结果。返回的字符串是用分隔符分割的文本文件或是XML格式的字符串，可以使用XML输入步骤进一步处理。 将URL填入生
kettle实现血缘
最新发布
01-30
kettle通过提供丰富的功能和组件，帮助用户轻松实现数据的血缘关系追踪。首先，kettle可以连接到多种数据源，如数据库、文件、Web服务等，用户可以通过配置数据源的连接信息，将数据抽取到kettle的工作流中。 在...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

李南想做条咸鱼

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值