Python爬虫4-Lxml库与Xpath语法

目录 

5.1综合案例-爬取豆瓣图书TOP250的数据

5.1.1将数据存储到CSV文件中 

5.1.2爬虫思路分析

5.1.3爬虫代码

5.2综合案例-爬取七点中文网小说信息

5.2.1将数据存储到Excel中

5.2.2爬虫思路分析 

5.4.3爬虫代码分析

---

5.1综合案例-爬取豆瓣图书TOP250的数据

        利用request和Lxml第三方库，爬取豆瓣图书top250数据，并存储到CSV格式的文件中。

5.1.1将数据存储到CSV文件中 

import csv

fp = open("test.csv",'w+')

writer = csv.writer(fp)

writer.writerow(('id','name'))
writer.writerow(('1','xiaoming'))
writer.writerow(('2','张三'))
writer.writerow(('3','李四'))

fp.close()

5.1.2爬虫思路分析

（1）翻阅网页可以发现其规律如下

        https://book.douban.com/top250

        https://book.douban.com/top250?start=25

        https://book.douban.com/top250?start=50

        我们可以看出，网页间隔是25，我们首页这样也是可以https://book.douban.com/top250?start=0。由此我们就可以构造出我们想要的URL列表了。

（2）爬取的信息有：书名、书本的URL连接、作者、出版社、和出版时间、价格、评分和评论。

5.1.3爬虫代码

import requests
import csv
from lxml import etree

fp = open('douban_book.csv','wt',newline='&#