一键爬取豆瓣读书

Amy独白

老Amy来了，突然发现上次搬家把书都寄走了~老久没有摄取精神粮食了[尽吃狗粮]，寻思着来豆瓣读书瞧瞧把！想看小说类型评分较高的经典小说，又动起了脑筋，可以把这些相关数据爬下来保存到 excel 中给数据分析的盆友们做个分析啥的。所以我这挣扎一下午的路程就开始了[爬虫并不难,而是…不规整的数据清洗保存到excel有点烧脑]~

Go

明确需求

首先，我们应该明确我们需要爬什么，如果只是想了解书籍的基础信息。我们则可以获取：“作者名”, “翻译者”, “出版社”, “出版日期”, “单价”, “评分”, “书名”

解析页面

其次并不是直接撸代码，而是来解析页面

• 通过 F12 打开 Chrome 自带的开发者工具
• 通过 Select 选中需要页面中获取的数据
  
  如上图，则得知该数据的布局是 ul>li 的布局。用大白话讲，就是说当前页有20本书籍信息，那每本书的信息都有可能在 ul 下的对应 li 里边。比如第一本：
  
  看到这里，有的朋友就觉得稳了。但是，注意上面用词为有可能，因为在elements中并不能确定，我们需要到 network 中的 response/preview 中进一步的确认。 此处使用 preview 更加直观。
  
  大家就确认，实际上 数据所在的 url 就在当前页：https://book.douban.com/tag/%E5%B0%8F%E8%AF%B4 woc~太简单了吧[不要急，后面更精彩]，基本上什么反爬都没用到。