scrapy项目--苏宁图书栏目内容爬虫

scrapy项目–苏宁图书栏目内容爬虫

简介

来自一个自学爬虫的Python小白的经历：通过网络上的教学视频，模仿编程。由于视频资源比较老旧，技术更新较快，所以有些方面难以做到用视频教学代码成功运行。此篇只记录产生的问题，包括已经解决和未解决的。再次申明，只是小白，只是简单的记录问题。

目的：爬取每个大分类下的小分类的每一本书的标题，图片，信息以及图书详情页的价格

• scrapy创建爬虫

  scrapy startproject mySpider 
  scrapy genspider name name.cn
  

• 使用库和方法

  import scrapy
  import re
  from copy import deepcopy
  

• 找到初始地址
  start_urls = ['https://book.suning.com/?safp=#########']
• 使用xpath对大分类、小分类进行分组

      div_list = response.xpath("//div`[@class='menu-list']/div")
          print(div_list)
          for div in div_list:
              item = {
       }
              # 大分类
              item["b_name"] = div.xpath("./dl/dt/h3/a/text()").extract_first()
              item["b_href"] = div.xpath("./dl/dt/h3/a/@href").extract_first()
              # 小分类分组
              d_list = div.xpath("./dl/dd")
  

  • 提取每个小分类的url地址

            for d in d_list:
                item["a_name"] = d.xpath("./a/text()"