scrapy项目–苏宁图书栏目内容爬虫
简介
来自一个自学爬虫的Python小白的经历:通过网络上的教学视频,模仿编程。由于视频资源比较老旧,技术更新较快,所以有些方面难以做到用视频教学代码成功运行。此篇只记录产生的问题,包括已经解决和未解决的。再次申明,只是小白,只是简单的记录问题。
目的:爬取每个大分类下的小分类的每一本书的标题,图片,信息以及图书详情页的价格
- scrapy创建爬虫
scrapy startproject mySpider scrapy genspider name name.cn
- 使用库和方法
import scrapy import re from copy import deepcopy
- 找到初始地址
start_urls = ['https://book.suning.com/?safp=#########']
- 使用xpath对大分类、小分类进行分组
div_list = response.xpath("//div`[@class='menu-list']/div") print(div_list) for div in div_list: item = { } # 大分类 item["b_name"] = div.xpath("./dl/dt/h3/a/text()").extract_first() item["b_href"] = div.xpath("./dl/dt/h3/a/@href").extract_first() # 小分类分组 d_list = div.xpath("./dl/dd")
- 提取每个小分类的url地址
for d in d_list: item["a_name"] = d.xpath("./a/text()"
- 提取每个小分类的url地址