Amy独白
老Amy来了,突然发现上次搬家把书都寄走了~老久没有摄取精神粮食了[尽吃狗粮],寻思着来豆瓣读书瞧瞧把!想看小说类型评分较高的经典小说,又动起了脑筋,可以把这些相关数据爬下来保存到 excel 中给数据分析的盆友们做个分析啥的。所以我这挣扎一下午的路程就开始了[爬虫并不难,而是…不规整的数据清洗保存到excel有点烧脑]~
Go
明确需求
首先,我们应该明确我们需要爬什么,如果只是想了解书籍的基础信息。我们则可以获取:“作者名”, “翻译者”, “出版社”, “出版日期”, “单价”, “评分”, “书名”
解析页面
其次并不是直接撸代码,而是来解析页面
- 通过 F12 打开 Chrome 自带的开发者工具
- 通过 Select 选中需要页面中获取的数据
如上图,则得知该数据的布局是 ul>li 的布局。用大白话讲,就是说当前页有20本书籍信息,那每本书的信息都有可能在 ul 下的对应 li 里边。比如第一本:
看到这里,有的朋友就觉得稳了。但是,注意上面用词为有可能,因为在elements中并不能确定,我们需要到 network 中的 response/preview 中进一步的确认。 此处使用 preview 更加直观。