D 1. 实战 - scrapy爬虫抓取当当图书

1 抓取当当图书详情，存入mysql

---

1.1 项目需求

1. 抓取当当网自营的湖南教育出版社图书信息，通过异步的方式存入mysql数据库。
2. 训练目的：html，异步存储

3. url 地址：
   http://search.dangdang.com/?key=%BA%FE%C4%CF%BD%CC%D3%FD%B3%F6%B0%E6%C9%E7&ddsale=1&page_index=1

4. 图书信息包括：

   • ID
   • 名字 name
   • ISBN
   • 原价 price_p
   • 现价 price_n
   • 作者 author
   • 出版日期 pub_time
   • 出版社 publisher
   • 总评分 total_star
   • 评论数 comment_num
   • 书店 store
   • 类型 book_type

1.2 页面分析

1. 图书列表页面分析

scrapy shell
fetch('http://search.dangdang.com/?key=%BA%FE%C4%CF%BD%CC%D3%FD%B3%F6%B0%E6%C9%E7&ddsale=1')
sel = response.css('ul.bigimg li')
# 书名
name = sel[0].css('p.name a::attr(title)').extract_first()
# 价格
price = sel[0].css('p.price span::text').extract_first()
# 作者
author = sel[0].css('p.search_book_author span')[0].css('a::text').extract()
# 出版日期 </