一键爬取豆瓣读书

Amy独白

老Amy来了,突然发现上次搬家把书都寄走了~老久没有摄取精神粮食了[尽吃狗粮],寻思着来豆瓣读书瞧瞧把!想看小说类型评分较高的经典小说,又动起了脑筋,可以把这些相关数据爬下来保存到 excel 中给数据分析的盆友们做个分析啥的。所以我这挣扎一下午的路程就开始了[爬虫并不难,而是…不规整的数据清洗保存到excel有点烧脑]~
在这里插入图片描述

Go

明确需求

首先,我们应该明确我们需要爬什么,如果只是想了解书籍的基础信息。我们则可以获取:“作者名”, “翻译者”, “出版社”, “出版日期”, “单价”, “评分”, “书名”

解析页面

其次并不是直接撸代码,而是来解析页面

  • 通过 F12 打开 Chrome 自带的开发者工具
  • 通过 Select 选中需要页面中获取的数据
    在这里插入图片描述
    如上图,则得知该数据的布局是 ul>li 的布局。用大白话讲,就是说当前页有20本书籍信息,那每本书的信息都有可能在 ul 下的对应 li 里边。比如第一本:
    在这里插入图片描述
    看到这里,有的朋友就觉得稳了。但是,注意上面用词为有可能,因为在elements中并不能确定,我们需要到 network 中的 response/preview 中进一步的确认。 此处使用 preview 更加直观。
  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值