使用Python爬虫 爬取豆瓣top250

使用Python爬虫 爬取豆瓣top250

---

---

1.任务介绍

• 需求分析
  爬取豆瓣电影Top250的基本信息，包括电影的名称、豆瓣评分、评价数、电影概况、电影链接等。
  链接：https://movie.douban.com/top250
• 三步走
  1. 获取数据（常用Urlib2,Requests,aiohttp,elenium）
  2. 解析数据（常用pyquery,Beautifulsoup,xpath,re）
  3. 存储数据（常用mysql,xlwt等）
• 反扒措施
  • header: 爬虫请求头与浏览器保持一致
  • 动态页面: 查到页面内容的request
  • 用户: 每次请求间隔几秒，或使用代理服务器
  • cookie: 禁止cookie

参考了哔站上的成都工业大学实训老师的视频，对其代码进行了一些重构和简化，增加了注释方便大家参考，有兴趣请去哔站观看原视频。

import re
import requests
import xlwt
from bs4 import BeautifulSoup

# 配置项
base_url = "https://movie.douban.com/top250?start=" 
# 影片的链接的规则
find_link = re.compile(r'<a href="(.*?)">')
# 影片的图片的规则
find_imgsrc = re.compile(r'<img.*src="(.*?)"', re.S)  # re.S让换行符包含在字符中
# 影片片名
find_title = re.compile(r'<span class="title">(.*)</span>')
# 影片评分
find_rating = re.compile(r'<span class="rating_num" property="v:average">(.*)</span>')
# 找到评价人数
find_judge = re.compile(r"<span>(\d*)人评价</span>")
# 找到概况
find_inq = re.compile(r'<span class="inq">(.*)</span>')
# 找到影片相关内容
find_bd = re.compile(r'<p class="">(.*?)</p>', re.S)
# 保存文件路径，请自行修改
save_path = "C:/Users/26707/Desktop/豆瓣电影Top250.xls"


def askURL(url):
    """
    发起网络请求获取网页内容
    :param url: 需要请求的网址
    :return: 网页内容的文本形式
    """
    head = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64) AppleWebKit/537.36\
            (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36 Edg/124.0.0.0"
    }

    res = requests.get(url=url, headers=head)  # 使用requests库发起get请求
    return res.text  # 返回网页内容的文本形式


def getData(html):
    """
    获取网页数据并解析，返回电影信息列表
    """
    datalist = []
    # for i in range(0, 10):  # 调用获取页面信息的函数，10次
    #     url = html + str(i * 25)
    #     html = askURL(url)  # 保存获取到的网页源码
    # 2.逐一解析数据
    soup = BeautifulSoup(html, "html.parser")
    for item in soup.find_all(
        "div", class_="item"
    ):  # 查找符合要求的字符串，形成一个链表
        # print(item) #测试
        data = []  # 保存一部电影的所有信息
        item = str(item)

        link = re.findall(find_link, item)[0]  # re库用来通过正则表达式查找指定内容
        data.append(link)
        imgSrc = re.findall(find_imgsrc, item)[0]  # 添加图片
        data.append(imgSrc)
        titles = re.findall(find_title, item)  # 片名可能只有一个中文名
        if len(titles) == 2:
            ctitle = titles[0]
            data.append(ctitle)  # 添加中文名
            otitle = titles[1].replace("/", "")  # 去掉无关的符号
            data.append(otitle)  # 添加外国名
        else:
            data.append(titles[0])
            data.append(" ")  # 外国名留空

        rating = re.findall(find_rating, item)[0]  # 添加评分
        data.append(rating)

        judgeNom = re.findall(find_judge, item)[0]  # 添加评价人数
        data.append(judgeNom)

        inq = re.findall(find_inq, item)
        if len(inq) != 0:
            inq = inq[0].replace("。", "")  # 去掉句号
            data.append(inq)  # 添加概述
        else:
            data.append(" ")  # 留空

        bd = re.findall(find_bd, item)[0]
        bd = re.sub("<br(\s+)?>(\s+)?", " ", bd)  # 去掉<br>
        bd = re.sub("/", " ", bd)  # 替换/
        data.append(bd.strip())  # 去掉前后空格
        datalist.append(data)
    return datalist


def saveData(datalist):
    """
    保存数据到Excel文件
    """
    print("save....")
    book = xlwt.Workbook(encoding="utf-8", style_compression=0)  # 创建workbook对象
    sheet = book.add_sheet("豆瓣电影Top250", cell_overwrite_ok=True)  # 创建工作表
    col = (
        "电影详情链接",
        "图片链接",
        "影片中文名",
        "影片外国名",
        "评分",
        "评价数",
        "概况",
        "相关信息",
    )
    for i in range(0, 8):
        sheet.write(0, i, col[i])
    for i in range(0, 250):
        print("第%d条" % i)
        data = datalist[i]
        for j in range(0, 8):
            sheet.write(i + 1, j, data[j])
    book.save(save_path)


def main():
    """
    主函数，用于调用其他函数完成爬虫流程
    """
    datalist = []
    # 1.爬取网页，获取数据
    for i in range(0, 10):  # 调用获取页面信息的函数，10次
        url = base_url + str(i * 25)
        html = askURL(url)  # 保存获取到的网页源码
    # 2.解析数据，提取所需信息
        datalist += getData(html)
    
    # 3.保存数据到Excel文件
    saveData(datalist)  # 存储数据到Excel文件


if __name__ == "__main__":
    main()  # 调用主函数
    print("爬取完毕")  # 打印爬取完毕提示信息