使用requests和xpath爬取猫眼TOP100电影

最新推荐文章于 2023-03-06 18:06:32 发布

原来是小刘呀

最新推荐文章于 2023-03-06 18:06:32 发布

阅读量2.7k

点赞数 1

分类专栏：爬虫文章标签： Python 爬虫

本文链接：https://blog.csdn.net/weixin_38196258/article/details/79889023

版权

本文介绍了如何利用Python的requests库获取网页内容，并结合xpath解析猫眼电影TOP100的页面。通过try...except处理请求，使用xpath提取关键信息，并详细说明了翻页策略，包括URL的offset参数调整，以及应对反爬措施，如设置user-agent。

摘要由CSDN通过智能技术生成

技术路线:requests-xpath

- 使用 requests 获取网页内容

使用 try...except 获取网页内容

- 使用 xpath 解析网页

对主要信息使用 xpath 进行提取

- 翻页及反爬处理

猫眼的翻页处理是 url 处进行翻页的

http://maoyan.com/board/4?offset=0

http://maoyan.com/board/4?offset=10

所以可以拼接处理url

猫眼的反爬主要是根据 user-agent 判断，所以访问的时候需要指定 headers


#!/usr/bin/env python
# _*_ coding:utf-8 _*_

import requests
from lxml import etree

def getHtml(url, headers):
    try:
        r = requests.get(url, headers=headers)
        r.raise_for_status()
        r.encoding = 'utf-8'
        return r.text
    except:
        print('ERROR')


def fillList(html):
    html = etree.HTML(html)
    img = html.xpath('//*[@id="app"]/div/div/div/dl/dd/a/img[2]/@data-src')    # 这里存在坑,使用Chrome查看元素时,图片属性是src,实际使用requ