Python爬取豆瓣top250书籍(beautifulsoup法)

库需求

• requests（对网站发起请求）
• beautifulsoup（提取html信息）
• re（正则表达式）
• fake_useragent（生成假的请求头）
• xlwt（处理excel文档）

准备

打开豆瓣Top250书籍网站https://book.douban.com/top250，观察其html特点，找到储存书本信息的位置。

代码

import requests
from bs4 import BeautifulSoup
from fake_useragent import UserAgent
import re
import xlwt
ua=UserAgent()#生成假的请求头

def getBooks(page):
    if page==0:
        url='https://book.douban.com/top250'
    else:
        url='https://book.douban.com/top250'+'?start='+str(page*25) #根据top250的网站url特点进行循环构造
    try:
        user_agent = ua.random
        res = requests.get(url,headers={
   'User-Agent': user_agent})#利用假的请求头进行请求，以提高爬虫成功率
        html=res.text
        res.raise_for_status()   # 如果返回的状态码不是200， 则抛出异常;
        res.encoding = res.apparent_encoding  # 判断网页的编码格式， 便于respons.text知道如何解码;
    except Exception as e:
        print("爬取错误")
    html=res.text
    return html