scrapy shell使用

scrapy shell基础使用

一、首先要有python、scrapy环境

二 、使用scrpy shell：

• 打开cmd 进入scrapy安装目录下

• scrapy shell 后面加需要测试的网址(要加英文下的双引号)

  scrapy shell "http://www.farmer.com.cn/2021/07/22/99874851.html"
  

• 将直接进入操作环境

三、基础操作

• 输出响应数据

  response.text  # 输出response数据 
  

• 输出body数据

  response.body  # 输出body
  

• 输出headers数据

  response.headers  # 输出headers
  

• 使用xpath

  response.xpath("//div[@id='article_main']/*[not(name()='img')]//text()")  # 与scrapy正常使用xpath
  
  案例：
  response.xpath("//h1[@class='article-title']//text()").get()  # get()：获取结果列表的第一个数据(适合在结果列表只有一个的时候)
  
  response.xpath("//div[@id='article_main']/*[not(name()='img')]//text()").getall()  # getall()：获取结果列表所有数据
  

• 打开当前测试网页

  view(response)  # 打开一个网页，网页网址为测试网址
  

• 使用for

  # 注意空格，空格为四个，结束多行，在尾部按两下回车键
  for i in data:
  	print(i.get())
  

• 退出scrapy shell

  快捷键：ctrl + c
  命令：exit()