爬取的目标对象:豆瓣图书标签: 历史 (douban.com)
关于豆瓣历史书籍
爬取该标签下的书籍信息,这里不做保存处理,只打印显示信息。
Python学习交流Q群:906715085####
一、先分析分析
1、链接
首先它是分成许多页的,
第一页的链接:https://book.douban.com/tag/%E5%8E%86%E5%8F%B2
第二页: https://book.douban.com/tag/%E5%8E%86%E5%8F%B2?start=20&type=T
第三页: https://book.douban.com/tag/%E5%8E%86%E5%8F%B2?start=40&type=T
第四页: https://book.douban.com/tag/%E5%8E%86%E5%8F%B2?start=60&type=T
可以看到第一页除外,其它的只有start=不同,都是20的倍数,把start=0试一下确实是第一页
可以猜测:tag就是标签标签后面到?之间的就是 '历史' 的某种编码。每一页有20本书籍
2、书籍信息
开发者win+F12,点击元素(有些是元素英文的自己去翻译翻译吧)
找到对应的位置点击一下箭头位置(ctrl+shift+c)
同样的你把鼠标放到哪里,网页对应的位置也会变颜色
可以知道在如图中的 li标签里面就包含一本书的所有信息
图片链接
同理得到其它信息
二、伪装
豆瓣有反爬机制,要伪装。
做一个请求头headers,这里只需要User-Agent即可。
三、实现代码(注意本代码仅用于学习交流,务必遵守相关协议法律,切勿用于商业)
最后
今天分享的这个小案例到这里就结束了,喜欢的记得点赞收藏,砸门下一篇见啦…