本文介绍了如何使用Scrapy快速提取和过滤网页中的超链接，特别是针对豆瓣图书首页的情况。首先明确了抓取图书详情页URL的需求，然后通过创建CrawlSpider，并结合LinkExtractor和Rule方法，设置正则表达式过滤无效链接，确保只抓取以'https://book.douban.com/subject/数字编号/'开头的图书详情页URL。
前面写过用xpath 方式定位response对象中我们所需要的超链接地址，但如果超链接过多且位置规律性差就不太方便了，现在介绍一种快速提取和过滤超链接地址的方法
1.明确需求
查看豆瓣图书中首页中所有图书的超链接，先看首页长这样的
然后随便点击一本数，进入图书的详情页，是这样的
此时我们查看下浏览器的url地址，是https://book.douban.com/subject/35166573/?icn=index-latestbook-subject，这个就是我们要抓取的地址。
2. 创建爬虫
可以用scrapy genspider命令创建爬虫，创建后修改类的参数，将自动生成的继承 scrapy.Spider 改为 CrawlSpider，这样用自定义的方法接收request请求
from scrapy.spiders import CrawlSpider
class 
最低0.47元/天 解锁文章
扫一扫
365
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
