爬取豆瓣图书top250

最新推荐文章于 2024-06-18 11:18:45 发布

pork_wq

最新推荐文章于 2024-06-18 11:18:45 发布

阅读量4.2k

点赞数 4

分类专栏： python python爬虫文章标签： python xpath csv 爬虫

本文链接：https://blog.csdn.net/weixin_46168535/article/details/112908722

版权

爬取豆瓣图书top250豆瓣网址：https://book.douban.com/top250豆瓣图书第一页：https://book.douban.com/top250?start=0豆瓣图书第二页：https://book.douban.com/top250?start=25豆瓣图书第三页：https://book.douban.com/top250?start=50豆瓣图书第四页：https://book.douban.com/top250?start=75…………从上面可以看出来.

摘要由CSDN通过智能技术生成

爬取豆瓣图书top250

豆瓣网址：https://book.douban.com/top250
豆瓣图书第一页：https://book.douban.com/top250?start=0
豆瓣图书第二页：https://book.douban.com/top250?start=25
豆瓣图书第三页：https://book.douban.com/top250?start=50
豆瓣图书第四页：https://book.douban.com/top250?start=75
……
……

从上面可以看出来，爬取豆瓣的URL，只要把最后的数字换成25的倍数就行了，用format（）和range（）组合：

urls = ['https://book.douban.com/top250?start={}'.format(str(i*25)) for i in range(0,10)]

请求头：

headers = {
   'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36'}

创建CSV文件，待会存入数据：

import csv
f = open('C:/Users/ASUS/Desktop/doubanBook.csv','w+',newline='',encoding='utf-8')#编码换成utf-8，否则最后会出现编码异常
w = csv.writer(f)
w.writerow(('书名','书本的URL链接','作者','出版社','出版时间','书本价格','评分','评价'))#写入一行数据到CSV文件中

进入豆瓣图书网站，检查各个数据的位置，发现需要爬取的数据都在table标签里，这就是循环点，复制该标签࿰

最低0.47元/天解锁文章

pork_wq

关注

4
点赞
踩
22

收藏

觉得还不错? 一键收藏
2
评论
爬取豆瓣图书top250

爬取豆瓣图书top250豆瓣网址：https://book.douban.com/top250豆瓣图书第一页：https://book.douban.com/top250?start=0豆瓣图书第二页：https://book.douban.com/top250?start=25豆瓣图书第三页：https://book.douban.com/top250?start=50豆瓣图书第四页：https://book.douban.com/top250?start=75…………从上面可以看出来.
复制链接

扫一扫