Scrapy爬虫系列笔记之五:静态无验证网站的爬取以及xpath和css选择器_by_书訢

最新推荐文章于 2024-04-30 13:30:30 发布

SX_csu2016sw

最新推荐文章于 2024-04-30 13:30:30 发布

阅读量850

点赞数

文章标签： css xpath 爬虫 python scrapy

本文链接：https://blog.csdn.net/sx_csu2016sw/article/details/79284481

版权

建议参照目录大纲，即笔记第一篇来了解大致路线后进行博客查阅。每大章的分支都十分清楚。

2.2静态无验证网站的爬取

静态网站的爬取十分简单，之前已经说明了start_urls中的url会通过下载器下载，返回response到parse函数中，所以我们只需要在parse函数中对response进行操作就可以得到我们想要的内容了

方法一：XPath

方法二：css选择器

使用scrapy shell 网站地址进行XPath以及css选择器的结果验证

从图中可以看到我们可以用的对象有很多，这里只用response

选择器选择得到title,同时转变为数组，并输出第一个选择到的结果
x

使用自己的爬虫类进行数据的获取

方法很简单，在parse函数中直接对response使用选择器，得到数据。

def parse(self,response):
title = response.xpath("//div[@class='entry-head']").extract()

以下是常见网站类型的爬取：

这种上面有几个url,然后下一页这样显示的网站

在parse函数中编码的思路是：
1.开始url为第一页的url,将几篇文书（文章或者其他数据）的链接通过选择器进行选择，得到url,提交给request进行下载,编写回馈函数进行数据处理。
2.将下一页的url得到，提交给parse函数,直到没有下一页的url。

from scrapy.http import Request
from urllib import parse
#因为需要用到scrapy的Request以及urllib进行得到域名进行拼接网址
def parse(self,response):
 Article_urls = response.css(".article")
 for Article_url in Article_urls:
  yield Request(url=parse.urljoin(response.url,Article_url)) ,callback= self.parse_detail)
 Next_url = response.css(".next")
 if Next_url:
  yield Request(url=parse.urljoin(response.url,Next_url,callback=self.parse))
 #具体处理的函数
 def parse_detail(self,response):
   #具体处理得到数据的代码,就是之前的选择器得到内容