Python-- scrapy-shell学习笔记

 目录

scrapy-shell

1.启动

2.response

3.selector

4.练习 (自己做的小练习,获取招聘网站的信息)


scrapy-shell

官方文档:https://scrapy-chs.readthedocs.io/zh_CN/latest/topics/shell.html

Scrapy终端是一个交互终端,我们可以在未启动spider的情况下尝试及调试代码,也可以用来测试XPath或CSS表达式,查看他们的工作方式,方便我们爬取的网页中提取的数据。

如果安装了 IPython ,Scrapy终端将使用 IPython (替代标准Python终端)。 IPython 终端与其他相比更为强大,提供智能的自动补全,高亮输出,及其他特性。(推荐安装IPython)

1.启动

 

  • Linux: ctr+T,打开终端,然后输入scrapy shell "url:xxxx"
  • windows: scrapy shell "url:xxx"
  • 启动后自动下载指定url的网页
  • 下载完成后,url的内容保存在response的变量中,如果需要,我们需要调用response

        Scrapy Shell根据下载的页面会自动创建一些方便使用的对象,例如 Response 对象,以及 Selector 对象 (对HTML及XML内容)。

  • 当shell载入后,将得到一个包含response数据的本地 response 变量,输入
  • response.body将输出response的包体,输出 response.headers 可以看到response的包头。
  • 输入 response.selector 时, 将获取到一个response 初始化的类 Selector 的对象,此时可以通过使用
  • response.selector.xpath()response.selector.css() 来对 response 进行查询。
  • Scrapy也提供了一些快捷方式, 例如 response.xpath()response.css()同样可以生效(如之前的案例)。

2.response

  • 爬取到的内容保存在response中给
  • response.body是网页的代码
  • resposne.headers是返回的http的头信息
  • response.xpath()允许使用xpath语法选择内容
  • response.css()允许使用css语法选区内容

3.selector

Scrapy Selectors 内置 XPath 和 CSS Selector 表达式机制

Selector有四个基本的方法,最常用的还是xpath:

  • xpath(): 传入xpath表达式,返回该表达式所对应的所有节点的selector list列表
  • extract(): 序列化该节点为Unicode字符串并返回list
  • css(): 传入CSS表达式,返回该表达式所对应的所有节点的selector list列表,语法同 BeautifulSoup4
  • re(): 根据传入的正则表达式对数据进行提取,返回Unicode字符串list列表

selector :

  • 选择器,允许用户使用选择器来选择自己想要的内容
  • response.selector.xpath: response.xpath是selector.xpath的快捷方式
  • response.selector.css: response.css是他的快捷方式
  • selector.extract:把节点的内容用unicode形式返回
  • selector.re:允许用户通过正则选区内容

4.练习 (自己做的小练习,获取招聘网站的信息)

1.首先进入猎聘网,搜索Python,按F12出现如下界面

 

 2.查找岗位的连接所在位置

3.启动shell

出现如下信息表示成功:

4.根据连接所在位置进行查找(用到xpath的知识,xpath教程http://www.w3schools.com/XPath/default.asp

输出查看结果:

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ydw_ydw

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值