python爬虫-利用requests库爬取猫眼电影top100

利用requests 库来抓取猫眼电影 TOPl100 的相关内容。

目标站点：https://maoyan.com/board/4

1.抓取首页

定义get_one_page方法，并给他传入url参数
注意：猫眼电影网站有反爬虫措施，设置headers后可以爬取

import requests
headers = {
    'Content-Type': 'text/plain; charset=UTF-8',
    'Origin': 'https://maoyan.com',
    'Referer': 'https://maoyan.com/board/4',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'
}


def get_one_page(url, headers):
    try:
        response = requests.get(url, headers=headers)
        if response.status_code == 200:
            return response.text
        return None
    except RequestsException:
        return None
def main():
	 url = "https://maoyan.com/board/4"
	 html = get_one_page(url, headers)
	 print(html)

if __name__ == '__main__':
      main()

运行发现成功得到源代码

2.正则提取

在这里我们定义def parse_one_page方法

import requests
import re
from requests.exceptions import RequestException
headers = {
    'Content-Type': 'text/plain; charset=UTF-8',
    'Origin': 'https://maoyan.com',
    'Referer': 'https://maoyan.com/board/4',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'
}


def get_one_page(url, headers):
    try:
        response = requests.get(url, headers=headers)
        if response.status_code == 200:
            return response.text
        return None
    except RequestsException:
        return None

def parse_one_page(html):
   pattern = re.compile('<dd>.*?board-index.*?>(\d+)</i>.*?data-src="(.*?)".*?name"><a'
                        + '.*?>(.*?)</a>.*?star">(.*?)</p>.*?releasetime">(.*?)</p>.*?integer">(.*?)</i>.*?fraction">(.*?)</i>.*?</dd>',
                        re.S)
   items = re.findall(pattern, html)
   for item in items:
      yield {
         'index': item[0],
         'image': item[1],
         'title': item[2],
         'actor': item[3].strip()[3:],
         'time': item[4].strip()[5:],
         'score': item[5] + item[6]
      }

def main():
    url = "https://maoyan.com/board/4"
    html = get_one_page(url, headers)
    for item in parse_one_page(html):
        print(item)

if __name__ == '__main__':
    main()

运行结果

3.写入文件

我们将提取的结果写入文件，这里直接写入到一个文本文件中。

import requests
import re
import json
from requests.exceptions import RequestException
headers = {
    'Content-Type': 'text/plain; charset=UTF-8',
    'Origin': 'https://maoyan.com',
    'Referer': 'https://maoyan.com/board/4',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'
}


def get_one_page(url, headers):
    try:
        response = requests.get(url, headers=headers)
        if response.status_code == 200:
            return response.text
        return None
    except RequestsException:
        return None

def parse_one_page(html):
   pattern = re.compile('<dd>.*?board-index.*?>(\d+)</i>.*?data-src="(.*?)".*?name"><a'
                        + '.*?>(.*?)</a>.*?star">(.*?)</p>.*?releasetime">(.*?)</p>.*?integer">(.*?)</i>.*?fraction">(.*?)</i>.*?</dd>',
                        re.S)
   items = re.findall(pattern, html)
   for item in items:
      yield {
         'index': item[0],
         'image': item[1],
         'title': item[2],
         'actor': item[3].strip()[3:],
         'time': item[4].strip()[5:],
         'score': item[5] + item[6]
      }

def write_to_file(content):
   with open('result.txt', 'a', encoding='utf-8') as f:
      f.write(json.dumps(content, ensure_ascii=False) + '\n')
      f.close()

def main():
    url = "https://maoyan.com/board/4"
    html = get_one_page(url, headers)
    for item in parse_one_page(html):
        print(item)
        write_to_file(item)

if __name__ == '__main__':
    main()

发现成功写入文件中

6.分页爬取

上述步骤我们发现以及成功爬取了第一页的电影排名情况，因为我们需要抓取的是 TOP100 的电影，我们还需要实现其他 90 部电影的爬取。

通过对站点的分析，观察页面的 URL 和内容发生 了怎样的变化


**可以发现页面的 URL 变成 https://maoyan.corn/board/4?offset=10，比之前的 URL 多了一个参数，那 就是 offset=10，而目前显示的结果是排行 11～20 名的电影，初步推断这是一个偏移量的参数。 再点 击下一页，发现页面的 URL 变成了 http://maoyan.com/board/4 ? offset=20，参数 offset 变成了 20，而 显示的结果是排行 21-30 的电影。 由此可以总结出规律，offset 代表偏移量值，如果偏移量为 n，则显示的电影序号就是 n+l 到 n+10, 每页显示 10 个。

这里需要将 main（）方法修改一下，接收一个 offset 值作为偏移量，然后构造 URL 进行爬取。 代码如下

import requests
import re
import json
from requests.exceptions import RequestException

headers = {
    'Content-Type': 'text/plain; charset=UTF-8',
    'Origin': 'https://maoyan.com',
    'Referer': 'https://maoyan.com/board/4',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36'
}

# 爬取网页源代码
def get_one_page(url, headers):
   try:
      response = requests.get(url, headers=headers)
      if response.status_code == 200:
         return response.text
      return None
   except RequestsException:
      return None

def parse_one_page(html):
   pattern = re.compile('<dd>.*?board-index.*?>(\d+)</i>.*?data-src="(.*?)".*?name"><a'
                        + '.*?>(.*?)</a>.*?star">(.*?)</p>.*?releasetime">(.*?)</p>.*?integer">(.*?)</i>.*?fraction">(.*?)</i>.*?</dd>',
                        re.S)
   items = re.findall(pattern, html)
   for item in items:
      yield {
         'index': item[0],
         'image': item[1],
         'title': item[2],
         'actor': item[3].strip()[3:],
         'time': item[4].strip()[5:],
         'score': item[5] + item[6]
      }

def write_to_file(content):
   with open('result.txt', 'a', encoding='utf-8') as f:
      f.write(json.dumps(content, ensure_ascii=False) + '\n')
      f.close()
      
#传入offest参数
def main(offset):
   url = "https://maoyan.com/board/4?offset="+str(offset)
   html = get_one_page(url, headers)
   for item in parse_one_page(html):
      print(item)
      write_to_file(item)


if __name__ == '__main__':
   for i in range(10):
      main(i*10)

至此我们便完成了对猫眼电影top100的爬取，电影信息也已全部保存到了文本文件中了。

• 参考：python3网络爬虫开发实战（崔庆华著）