爬取猫眼排行榜100电影

爬取猫眼电影排行

利用requests库和正则表达式来抓取猫眼电影TOP100的相关内容。requests比urllib使用更加方便，而且目前我们还没有系统学习HTML解析库，所以这里就选用正则表达式来作为解析工具。

1. 本节目标：

   • 提取出猫眼电影TOP100的电影名称、时间、评分、图片等信息
   • 提取的站点URL为http://maoyan.com/board/4
   • 提取的结果以文件形式保存下来

2. 准备工作：

   • 确定正确安装好requests库

3. 抓取分析：

   1. 打开抓取的站点：http://maoyan.com/board/4，可以发现榜单信息。

   2. 

      页面中显示的有效信息包括：影片名称、主演、上映时间、评分、图片等信息

   3. 将页面滚动到最下方，直接点击第2页，观察页面的URL和内容发生的变化。

   4. URL变成http://maoyan.com/board/4?offset=10，比之前的URL多了一个参数，即offset=10，而目前显示的结果是排行11~20名的电影，再点击下一页，发现页面的URL变成了http://maoyan.com/board/4?offset=20，参数 offset 变成了20，而显示的结果是排行21~30的电影。

   5. 规律：offset代表偏移量值，如果偏移量为n，则显示的电影序号就是n+1到n+10，每页显示10个。所以，如果想获取TOP100电影，只需要分开请求10次，而10次的offset参数分别设置为0、10、20…90即可，这样获取不同的页面之后，再用正则表达式提取出相关信息，就可以得到 TOP100 的所有电影信息了。

4. 抓取首页：

   import requests
   
   def get_one_page(url):
       """抓取第一页的内容，返回抓取的页面结果"""
       headers = {
        
           'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '
                         'Chrome/88.0.4324.104 Safari/537.36 '
       }
   
       response = requests.get(url, headers=headers)
       if response.status_code == 200:
           return response.text
       return None
   
   def main():
       url = 'https://maoyan.com/board/4'
       html = get_one_page(url)
       print(html