爬取当当网 --------分布式爬虫scrapy_redis--------python爬虫案例

一、分析

• 爬取对象：当当网 http://book.dangdang.com/
  
  
• 要求：获取三级类目的名称，并得到详情页书名和图片url

第一步 页面分析

• 需求：大分类 二级分类 三级分类 图书的名字和图片的src
• ​大分类
  • 整个大分类都在 div con flq_body 它下面的 div/dl/dt
    • 1 在大分类中有一个span标签，但是源码中没有
    • 2 有的大分类在dt标签下面还有一个a标签 /dt//text().extract()
      获取dt标签下的全部文本
• 二级分类
  • div level one --> dl class=“inner_dl” dt/text()
  • 注意：1 有的大分类在dt标签下面还有一个a标签 /dt//text().extract()
• 三级分类
  • dl class=“inner_dl” --> dd/a/text()
  • 注意：图片的src images/model/guan/url_none.png 这个时候还是要看下源码
  • data-original=“http://img3m0.ddimg.cn/95/11/27854240-1_b_14.jpg”