爬取猫眼排行榜100电影

爬取猫眼电影排行

利用requests库正则表达式来抓取猫眼电影TOP100的相关内容。requests比urllib使用更加方便,而且目前我们还没有系统学习HTML解析库,所以这里就选用正则表达式来作为解析工具。

  1. 本节目标

    • 提取出猫眼电影TOP100的电影名称、时间、评分、图片等信息
    • 提取的站点URL为http://maoyan.com/board/4
    • 提取的结果以文件形式保存下来
  2. 准备工作

    • 确定正确安装好requests
  3. 抓取分析

    1. 打开抓取的站点:http://maoyan.com/board/4,可以发现榜单信息。

    2. 在这里插入图片描述

      页面中显示的有效信息包括:影片名称、主演、上映时间、评分、图片等信息

    3. 将页面滚动到最下方,直接点击第2页,观察页面的URL和内容发生的变化。

    4. URL变成http://maoyan.com/board/4?offset=10,比之前的URL多了一个参数,即offset=10,而目前显示的结果是排行11~20名的电影,再点击下一页,发现页面的URL变成了http://maoyan.com/board/4?offset=20,参数 offset 变成了20,而显示的结果是排行21~30的电影。

    5. 规律:offset代表偏移量值,如果偏移量为n,则显示的电影序号就是n+1到n+10,每页显示10个。所以,如果想获取TOP100电影,只需要分开请求10次,而10次的offset参数分别设置为0、10、20…90即可,这样获取不同的页面之后,再用正则表达式提取出相关信息,就可以得到 TOP100 的所有电影信息了。

  4. 抓取首页

    import requests
    
    def get_one_page(url):
        """抓取第一页的内容,返回抓取的页面结果"""
        headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '
                          'Chrome/88.0.4324.104 Safari/537.36 '
        }
    
        response = requests.get(url, headers=headers)
        if response.status_code == 200:
            return response.text
        return None
    
    def main():
        url = 'https://maoyan.com/board/4'
        html = get_one_page(url)
        print(html)
    
    main()
    
  5. 正则提取

    一部电影信息对应的源代码是一个dd节点。

    • 提取排名信息:在class为board-index的i节点内,正则表达式写为:

      <dd>.*?board-index.*?>(.*?)</i>

    • 提取电影的图片:第二个 img 节点的 data-src 属性是图片的链接,正则表达式改写为:

      <dd>.*?board-index.*?(.*?)</i>.*?data-src='(.*?)'

    • 提取电影的名称:p节点内,class为name。正则表达式改写为:

      <dd>.*?board-index.*?>(.*?)</i>.*?data-src="(.*?)".*?name.*?a.*?>(.*?)</a>

    • 提取主演、发布时间、评分等内容。

      <dd>.*?board-index.*?>(.*?)</i>.*?data-src="(.*?)".*?name.*?a.*?>(.*?)</a>.*?star.*?>(.*?)</p>.*?releasetime.*?>(.*?)</p>.*?integer.*?>(.*?)</i>.*?fraction.*?>(.*?)</i>.*?</dd>
      
    def parse_one_page(html):
        """通过正则表达式来从结果中提取想要的内容"""
        pattern = re.compile('<dd>.*?board-index.*?>(.*?)</i>.*?data-src="(.*?)".*?name.*?a.*?>(.*?)</a>.*?star.*?>('
                             '.*?)</p>.*?releasetime.*?>(.*?)</p>.*?integer.*?>(.*?)</i>.*?fraction.*?>(.*?)</i>.*?</dd>',
                             re.S)
        items = re.findall(pattern, html)
        # 整理结果形式
        for item in items:
            yield {'index': item[0],
                   'image': item[1],
                   'title': item[2].strip(),
                   'actor': item[3].strip()[3:] if len(item[3]) > 3 else '',
                   'time': item[4].strip()[5:] if len(item[4]) > 5 else '',
                   'score': item[5].strip() + item[6].strip()
                   }
    
  6. 写入文件

    def write_to_file(content):
        """将提取的结果写入文件"""
        with open('result.txt', 'a', encoding='utf-8') as file_obj:
            print(type(json.dumps(content)))
            # 通过dumps()方法实现字典的序列化,并指定ensure_ascii=False保证输出结果是中文形式
            file_obj.write(json.dumps(content, ensure_ascii=False) + '\n')
    
  7. 整合代码

    实现main方法调用前面实现的方法,将单页的电影结果写入到文件。

    def main():  
        url = 'http://maoyan.com/board/4'  
        html = get_one_page(url)  
        for item in parse_one_page(html):  
            write_to_file(item)
    
  8. 分页爬取

    添加offset参数,修改调用。

    if __name__ == '__main__':  
        for i in range(10):  
            main(offset=i * 10)
    

    main方法传入offset参数:

    def main(offset):  
        url = 'http://maoyan.com/board/4?offset=' + str(offset)  
        html = get_one_page(url)  
        for item in parse_one_page(html):  
            print(item)  
            write_to_file(item)
    
已标记关键词 清除标记
相关推荐
©️2020 CSDN 皮肤主题: 黑客帝国 设计师:白松林 返回首页