python爬取豆瓣Top250完整代码

python爬虫

# -*- coding = utf-8 -*-
# @Time : 2021/8/24 10:59
# @Author : 
# @File : spider.py
# @Software : PyCharm

from bs4 import BeautifulSoup  # 网页解析，获取数据
import re  # 正则表达式，进行文字匹配
import urllib.request, urllib.error  # 制定URL，获取网页数据
import xlwt  # 进行excel操作
import sqlite3  # 进行SQL数据库操作
import random
import requests
import time


# 1.爬取网页
# 2.解析数据
# 3.保存数据

def main():
    baseurl = "https://movie.douban.com/top250?start="
    # 1.爬取网页
    datalist = getData(baseurl)
    savepath = ".\\豆瓣电影Top250.xls"
    # 3.保存数据
    saveData(datalist,savepath)

    # askURL(baseurl)


# 影片详情的链接
findLink = re.compile(r'<a href="(.*?)">')  # re.compile()创建正则表达式对象（规则）
# 影片的图片的链接
findImgSrc = re.compile(r'<img.* src="(.*?)"', re.S)
# 影片的片名
findTitle = re.compile(r'<span class="title">(.*?)</span>')
# 影片的评分
findRating = re.compile(r'<span class="rating_num" property="v:average">(.*)</span>')
# 影片的评价人数
findJudge = re.compile(r'<span>(\d*)人评价</span>')
# 找到概况
findInq = re.compile(r'<span class="inq">(.*)</span>')
# 找到影片的相关内容
findBd = re.compile(r'<p class="">(.*?)</p>'