python爬虫_爬取豆瓣读书top500存入到excel文件

目的：学习笔记
代码写的有点糟糕，还得努力，欢迎各位帮忙优化代码，嘻嘻嘻。

代码：

import requests,xlwt   #导入相关库，xlwt库用来写入到excel
from lxml import etree
headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:78.0) Gecko/20100101 Firefox/78.0'}
workbook=xlwt.Workbook(encoding='utf-8')
worksheet=workbook.add_sheet('douban',cell_overwrite_ok=True)
worksheet.write(0,0,'书名')
worksheet.write(0,1,'作者')
list=[]  #空的列表 用来存放爬取到的所有书籍信息
row =1   #excel列表从第一行开始存入数据

def parse_url(url): #定义函数用来解析网页获取书籍信息
    res=requests.get(url,headers=headers).text
    html=etree.HTML(res)
    divs=html.xpath('//div[@class="doulist-item"]')
    for div in divs:
        dushu={}
        title=div.xpath('.//div[@class="title"]/a/text()')
        if title:
            dushu['title']=div.xpath('.//div[@class="title"]/a/text()')[0].strip()
        else:pass
        auth=div.xpath('.//div[@class="abstract"]/text()')
        if auth:
            dushu['auth']=div.xpath('.//div[@class="abstract"]/text()')[0].strip()
        else:pass
        if dushu:
            dushu=dushu
            list.append(dushu)

def write_to_excel(list): #函数用来将数据写入到excel文件
    global row
    for lis in list:
        lie=0
        for k, v in lis.items():
            worksheet.write(row, lie, v)
            lie += 1
        row += 1

if __name__ == '__main__':
    for i in range(0, 21):
        print('开始爬取第{}页'.format(i+1))
        url = 'https://www.douban.com/doulist/45298673/?start={}'.format(i * 25)
        parse_url(url)
    print('打印出全部信息：',list)
    print('爬取完毕一共{}本书籍 开始存入excel文件'.format(len(list)))
    write_to_excel(list)
    workbook.save('豆瓣读书top500.xls')#数据全部存放后 保存到该文件里
    print('已全部存入表格当中，表格名称为：豆瓣读书top500.xls')

发现只有498本书籍 这是因为有些数据被作者删除了哦