目录
5.1综合案例-爬取豆瓣图书TOP250的数据
利用request和Lxml第三方库,爬取豆瓣图书top250数据,并存储到CSV格式的文件中。
5.1.1将数据存储到CSV文件中
import csv
fp = open("test.csv",'w+')
writer = csv.writer(fp)
writer.writerow(('id','name'))
writer.writerow(('1','xiaoming'))
writer.writerow(('2','张三'))
writer.writerow(('3','李四'))
fp.close()
5.1.2爬虫思路分析
(1)翻阅网页可以发现其规律如下
https://book.douban.com/top250
https://book.douban.com/top250?start=25
https://book.douban.com/top250?start=50
我们可以看出,网页间隔是25,我们首页这样也是可以https://book.douban.com/top250?start=0。由此我们就可以构造出我们想要的URL列表了。
(2)爬取的信息有:书名、书本的URL连接、作者、出版社、和出版时间、价格、评分和评论。
5.1.3爬虫代码
import requests
import csv
from lxml import etree
fp = open('douban_book.csv','wt',newline='&#