scrapy shell 命令对写爬虫 的帮助 --推荐

本文介绍了如何利用scrapy shell和CSS选择器提取网页title标签内的数据。通过响应对象response.css选择器,结合extract()或extract_first()方法,以及使用::text获取标签内容,详细步骤展示了从获取Selector列表到提取目标字符串的过程。
摘要由CSDN通过智能技术生成

scrapy shell,那接下来我们就简略的看看scrapy的第一种数据提取工具:css提取工具的用法。
那我们要提取那个数据呢?就提取:http://lab.scrapyd.cn 这个页面的title里面的数据,我们来看一下他的html结构:
 

<!DOCTYPE HTML>
<html class="no-js">
<head>
    ……
    <meta name="applicable-device" content="pc,mobile">

    <title>爬虫实验室 - SCRAPY中文网提供</title>

    ……


我们要提取的就是上面:

<title>爬虫实验室 - SCRAPY中文网提供</title>

这个标签里面的数据,我们最终要得到的是:

“爬虫实验室 - SCRAPY中文网提供”

这么一段字符串,那我们就循序渐进的看看我们会怎么操作,会使用哪些函数。
首先我们需要在命令行输入:

scrapy shell http://lab.scrapyd.cn

然后我们继续在命令行输入如下命令:response.css('title') ,这个格式是s

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小赖同学啊

跟着大师走,路不会太差

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值