import requests
from bs4 import BeautifulSoup
import re
import xlwt
class DouBanBook:
def __init__(self,pageIndex):
self.pageIndex = 0
self.user_agent = 'Mozila/5.0'
self.headers = {'User-agent':self.user_agent}
self.book_list = []
def getPage(self):
try:
url = 'https://book.douban.com/top250?' + str(self.pageIndex)
r = requests.get(url, headers=self.headers)
r.raise_for_status()
r.encoding = 'utf-8'
return r.text
except:
return ''
def getBooks(self):
pageCode = self.getPage()
soup = BeautifulSoup(pageCode, 'html.parser')
for book in soup.find_all('td', {'valign':'top'}):
if book.find('div', {'class':re.compile(r'pl[2]{1}')}) ==None:
爬取豆瓣图书Top250并存入xls
最新推荐文章于 2021-11-17 15:17:04 发布
这段代码实现了一个名为DouBanBook的类,用于爬取豆瓣图书Top250的页面,并将获取的数据存储到xls文件中。通过请求网页,解析HTML,提取每本书的标题、作者、概述、出版社、发行日期、价格、评分等信息,最后将这些信息写入Excel表格。
摘要由CSDN通过智能技术生成