Python爬虫实战（1）猫眼电影Top100

利用BeautifulSoup和和requests库实现猫眼电影Top100的抓取

运行平台： Windows
Python版本： Python 3.8
IDE： Pycharm

这是我第一次使用BeautifulSoup和requests库实现Python爬虫，记录下来方便以后复习。

1.网页分析

       使用Chrome浏览器或其他浏览器打开猫眼电影https://maoyan.com/board/4
       按F12分析网页源代码

       排名位于i标签中，电影名在p标签的a标签中，而每个电影名又在dd标签下。
       同时每一页网页url是符合规律的，即在https://maoyan.com/board/4?offset=每一页加10
如https://maoyan.com/board/4?offset=10

2.代码

from bs4 import BeautifulSoup
import requests


def main(url):
    headers = {
   
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.97 Safari/537.36',
        'Referer': 'https://maoyan.com/board/4'}
    for i in range(10):
        # 得到每一页的电影
        url1 = url + str(i * 10)
        response = requests.get(url1, headers=headers)
        html = response.