center爬取猫眼热映口碑榜电影center

爬取猫眼热映口碑榜电影

1. 分析网页源码

​ 可以看到，每个电影的信息以<dd></dd>分割，所以编写正则可以将范围缩小到这一块，然后在根据自己的需要编写正则表达式，在这里，我们获取前十电影的名字。

    <dd>
                        <i class="board-index board-index-1">1</i>
    <a href="/films/42964" title="毒液：致命守护者" class="image-link" data-act="boarditem-click" data-val="{movieId:42964}">
      <img src="//ms0.meituan.net/mywww/image/loading_2.e3d934bf.png" alt="" class="poster-default" />
      <img data-src="https://p0.meituan.net/movie/363e3a7e614d29b2847ff4e62afcd3f42168651.jpg@160w_220h_1e_1c" alt="毒液：致命守护者" class="board-img" />
    </a>
    <div class="board-item-main">
      <div class="board-item-content">
              <div class="movie-item-info">
        <p class="name"><a href="/films/42964" title="毒液：致命守护者" data-act="boarditem-click" data-val="{movieId:42964}">毒液：致命守护者</a></p>
        <p class="star">
                主演：汤姆·哈迪,米歇尔·威廉姆斯,里兹·阿迈德
        </p>
<p class="releasetime">上映时间：2018-11-09</p>    </div>
    <div class="movie-item-number score-num">
<p class="score"><i class="integer">9.</i><i class="fraction">3</i></p>        
    </div>

      </div>
    </div>

    </dd>

2.编写代码

from urllib import request
import re


url = 'http://maoyan.com/board'
# 请求头
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:23.0) Gecko/20100101 Firefox/23.0'}
# 封装请求
req = request.Request(url, headers=headers)
# 执行请求
res = request.urlopen(req)
# 解析内容
html = res.read().decode('utf-8')
# 编写正则,获取电影的名字和链接
pat = '<dd>.*?<a href="(.*?)" title="(.*?)" .*?</dd>'
dlist = re.findall(pat, html, re.S)
# print(len(dlist))
for v in dlist:
    print(v[1])  # 打印电影的名字

​ 关于请求头：如果不设置请求头，可能会出现urllib.error.HTTPError: HTTP Error 403: Forbidden错误，之所以出现上面的异常,是因为如果用 request.urlopen 方式打开一个URL,服务器端只会收到一个单纯的对于该页面访问的请求,但是服务器并不知道发送这个请求使用的浏览器，操作系统,硬件平台等信息,而缺失这些信息的请求往往都是非正常的访问,例如爬虫.有些网站为了防止这种非正常的访问,会验证请求信息中的UserAgent(它的信息包括硬件平台、系统软件、应用软件和用户个人偏好),如果UserAgent存在异常或者是不存在,那么这次请求将会被拒绝(如上错误信息所示)所以可以尝试在请求中加入UserAgent的信息。