【python爬虫】爬取猫眼TOP100电影

猫眼TOP100电影

---

1. 分析数据构成

1.1 分析每页内容

• 在这里使用chrome浏览器，点击f12打开开发者工具后，选择Network，查看初始的页面内容，在Name部分找到对应的页面文件
  
• 根据返回的html可以看到，排名中每一部电影内容都被一个<dd></dd>元素包裹起来，因此只要解析每一个<dd></dd>元素中的内容，就可以获取当页的电影信息了

1.2 分析分页

• 知道了怎么获取每页的内容，接下来看如何获取每一页的内容。点击下一页后，可以看到链接变为了https://maoyan.com/board/4?offset=10
  再次点击链接变为
  https://maoyan.com/board/4?offset=20
  而且在浏览器输入
  https://maoyan.com/board/4?offset=0
  的时候，会跳转到第一页
  因此可以知道，分页规律为在4后增加？offset=页数*10 即可

2.编写正则表达式，获取每一页的排名，图片，电影名，演员，上映时间，评分等

<dd>
                        <i class="board-index board-index-23">23</i>
    <a href="/films/428" title="指环王3：王者无敌" class="image-link" data-act="boarditem-click" data-val="{movieId:428}">
      <img src="//s0.meituan.net/bs/?f=myfe/mywww:/image/loading_2.e3d934bf.png" alt="" class="poster-default" />
      <img data-src="https://p0.meituan.net/movie/932bdfbef5be3543e6b136246aeb99b8123736.jpg@160w_220h_1e_1c" alt="指环王3：王者无敌" class="board-img" />
    </a>
    <div class="board-item-main">
      <div class="board-item-content">
              <div class="movie-item-info">
        <p class="name"><a href="/films/428" title="指环王3：王者无敌" data-act="boarditem-click" data-val="{movieId:428}">指环王3：王者无敌</a></p>
        <p class="star">
                主演：伊莱贾·伍德,伊恩·麦克莱恩,丽芙·泰勒
        </p>
<p class="releasetime">上映时间：2004-03-15</p>    </div>
    <div class="movie-item-number score-num">
<p class="score"><i class="integer">9.</i><i class="fraction">2</i></p>        
    </div>

      </div>
    </div>

                </dd>

以上为复制出来的一个<dd></dd>标签中所包含的内容，然后根据其中的内容编写正则表达式

<dd>.*?board-index.*?>(.*?)</i>.*?data-src="(.*?)".*?name.*?a.*?>(.*?)</a>.*?star.*?>(.*?)</p>.*?releasetime.*?>(.*?)</p>.*?integer.*?>(.*?)</i>.*?fraction.*?>(.*?)</i></p>.*?</dd>

.*?的含义为以非贪婪（即尽可能少的匹配）的方式匹配任意数量的任何字符
(.*?)其中()的作用是分组，用来获取想要得到的内容，其中也使用非贪婪的方式进行匹配

3.编写代码

• 导入要用的库

import requests #HTTP库
import re #正则表达式
import time #时间模块

• 获取每个页面的数据

def getPage(url):
    userAgent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36"
    headers = {
        "User-Agent": userAgent
    }
    response = requests.get(url, headers=headers)
    if response.status_code == 200:
        return response.text
    return None

• 解析页面数据

def parsePage(html):
    # 1排名 2图片 3电影名 4主演 5上映时间
    regex = '<dd>.*?board-index.*?>(.*?)</i>.*?data-src="(.*?)".*?name.*?a.*?>(.*?)</a>.*?star.*?>(.*?)</p>.*?releasetime.*?>(.*?)</p>.*?integer.*?>(.*?)</i>.*?fraction.*?>(.*?)</i></p>.*?</dd>'
    pattern = re.compile(regex, re.S)
    items = re.findall(pattern, html)
    for item in items:
        yield {
            "排名": item[0],
            "图片": item[1],
            "电影名": item[2],
            "演员": item[3].strip()[3:],
            "上映时间": item[4].strip()[4:],
            "评分": item[5] + item[6]
        }

• 控制分页

def main(offset):
    url = "http://maoyan.com/board/4?offset=" + str(offset)
    html = getPage(url)
    for item in parsePage(html):
        print(item)

• 调用程序

for i in range(10):
    main(i*10)
    # 间歇3秒
    time.sleep(3)

4.结果展示

学习自 https://germey.gitbooks.io/python3webspider/content/3.4-Requests与正则表达式爬取猫眼电影排行.html