python实现爬取豆瓣电影Top250

最近学习了用python爬取某网站电影Top250的数据，在这里记录一下。

 

需要引入几个模块

from bs4 import BeautifulSoup    #网页解析，获取数据
import re      #正则表达式，进行文字匹配
import urllib.request,urllib.error   #制定URL，获取网页数据
import xlwt    #进行Excel操作

1、爬取网页

首先对该网站进行分析，发现Top250共有10页，每页25条信息。

第一页是：豆瓣电影 Top 250&filter=

第二页是：豆瓣电影 Top 250

以此类推......  其中&filter是可以去掉的。

因此定义基础的url变量：baseurl = "https://movie.douban.com/top250?start="

将其置于for循环中，start=可以根据for循环的变量添加

    for i in range (0,10):           #调用获取页面信息的函数10次
        url = baseurl+str(i*25)

1.1、获取网页源代码

这里的基础知识详见：python爬虫基础--------urllib模块学习_StudyWinter的博客-CSDN博客

首先我们要模拟浏览器对该网站进行访问。可以查看自己浏览器的代理，进行模仿。

用户代理，告诉豆瓣服务器，我们是什么类型的机器、浏览器（本质上是告诉浏览器，我们可以接受什么水平的文件内容）

然后用urllib.request.Request()方法进行请求的模仿，并返回得到的信息。

第三步将请求返回的内容作为参数，传递到urlopen方法中，进行网页信息的爬取。

最后在加入异常判断。

#得到指定一个URL的网页内容
def askURL(url):
    #用户代理，告诉豆瓣服务器，我们是什么类型的机器，浏览器（本质上是告诉浏览器，我们可以接受什么水平的文件内容）

    #头部信息，模拟浏览器头部信息，向豆瓣浏览器发送消息
    head={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.105 Safari/537.36"}
    #请求
    request = urllib.request.Request(url,headers=head)
    #存储
    html = ""
    try:
        response = urllib.request.urlopen(request)
        html = response.read().decode("utf-8")
        #print(html)
    except urllib.error.URLError as e:
        if hasattr(e,"code"):
            print(e.code)
        if hasattr(e,"reason"):
            print(e.reason)
    return html

2、对获取到的信息逐一进行解析

BeautifulSoup的基础知识详见：python爬虫基础--------BeautifulSoup模块学习_StudyWinter的博客-CSDN博客

我们这里用是HTML解析，因此，定义

soup = BeautifulSoup(html,"html.parser")       #解析

定义一个list保存一部电影的信息：data=[]

查看原码发现，每部电影都是 li标签，对于其中每一个电影，是从 <div class="item">开始的

那么我们就从这里开始查找网页中的字符串。

通过正则表达式来进行查找相应的字符串是比较方便的，正则表达式基础详见：

python正则表达式_python a?b:c_StudyWinter的博客-CSDN博客

影片详情的正则表达式规则

findLink = re.compile(r'<a href="(.*?)">')

依次类推

#影片图片的链接规则
findImaSrc = re.compile(r'<img.*src="(.*?)"',re.S)    #re.S让换行符包含在字符中
#影片片名
findTitle = re.compile(r'<span class="title">(.*)</span>')
#评分
findRating = re.compile(r'<span class="rating_num" property="v:average">(.*)</span>')
#评价人数
findJudge = re.compile(r'<span>(\d*)人评价</span>')
#找到概况
findInq = re.compile(r'<span class="inq">(.*)</span>')
#找到影片的相关内容
findBd = re.compile(r'<p class="">(.*?)</p>',re.S)     #re.S让换行符包含在字符中

再用re库来通过正则表达式查找指定的字符串，并添加到data中

对影片详情的超链接的添加：

#影片详情的超链接
            link = re.findall(findLink,item)[0]            #re库用来通过正则表达式查找指定的字符串
            data.append(link)                              #添加链接

其他的以此类推

imgSrc = re.findall(findImaSrc,item)[0]
            data.append(imgSrc)                            #添加图片

            titles = re.findall(findTitle,item)
            if (len(titles)==2):
                ctitle = titles[0]
                data.append(ctitle)                            #添加中文名
                otitle = titles[1].replace("/","")            #去掉/
                data.append(otitle)                           #添加外国名
            else:
                data.append(titles[0])
                data.append(" ")                              #外国名留空

            rating = re.findall(findRating,item)[0]
            data.append(rating)                             #添加打分

            judgeNum = re.findall(findJudge,item)[0]
            data.append(judgeNum)                           #添加评价人数

            inq = re.findall(findInq,item)
            if len(inq)!=0:
                inq = inq[0].replace("。","")              #去掉句号
                data.append(inq)                                #添加概述
            else:
                data.append(" ")                          #留空

            bd = re.findall(findBd,item)[0]
            bd = re.sub('<br(\s+)?/>(\s+)?'," ",bd)       #去掉<br/>
            bd = re.sub('/'," ",bd)                       #替换/
            data.append(bd.strip())                       #去掉前后的空格

需要注意的是title有中文名和外文名(英文、韩语等)，需要特殊处理。概况和影片相关内容也需要处理。

最后再用一个datalist的列表将data进行存储。

3、保存数据

基础知识详见：python将99乘法表写入到Excel中_python文件操作将乘法表写入文件_StudyWinter的博客-CSDN博客

不同的是需要加入行说明

book = xlwt.Workbook(encoding="utf-8",style_compression=0)  # 1创建workbook对象
    sheet = book.add_sheet("豆瓣电影Top250",cell_overwrite_ok=True)  # 2.创建worksheet  创建工作表  cell_overwrite_ok=True覆盖以前的内容

    col = ("电影详情链接","图片链接","影片中文名","影片外国名","评分","评价数","概况","相关信息")
    for i in range(0,8):
        sheet.write(0,i,col[i])              #写入列表

再循环250次将之前datalist中的元素存写到worksheet中，并保存

  for i in range(0,250):
        print("第%d条"%(i+1))
        data = datalist[i]
        for j in range(0,8):
            sheet.write(i+1,j,data[j])

    book.save(savePath)      #保存名称

4、运行结果