爬取豆瓣图书Top250并存入xls

最新推荐文章于 2021-07-29 12:25:25 发布

普罗米修利

最新推荐文章于 2021-07-29 12:25:25 发布

阅读量1.1k

点赞数

分类专栏： python爬虫豆瓣图书Top

本文链接：https://blog.csdn.net/u010356229/article/details/81005419

版权

这段代码实现了一个名为DouBanBook的类，用于爬取豆瓣图书Top250的页面，并将获取的数据存储到xls文件中。通过请求网页，解析HTML，提取每本书的标题、作者、概述、出版社、发行日期、价格、评分等信息，最后将这些信息写入Excel表格。

摘要由CSDN通过智能技术生成

import requests
from bs4 import BeautifulSoup
import re
import xlwt

class DouBanBook:
    def __init__(self,pageIndex):
        self.pageIndex = 0
        self.user_agent = 'Mozila/5.0'
        self.headers = {'User-agent':self.user_agent}
        self.book_list = []

    def getPage(self):
        try:
            url = 'https://book.douban.com/top250?' + str(self.pageIndex)
            r = requests.get(url, headers=self.headers)
            r.raise_for_status()
            r.encoding = 'utf-8'
            return r.text
        except:
            return ''

    def getBooks(self):
        pageCode = self.getPage()
        soup = BeautifulSoup(pageCode, 'html.parser')
        for book in soup.find_all('td', {'valign':'top'}):
            if book.find('div', {'class':re.compile(r'pl[2]{1}')}) ==None: