简单的python爬虫

最新推荐文章于 2022-01-07 17:25:45 发布

流浪的小鱼孩

最新推荐文章于 2022-01-07 17:25:45 发布

阅读量573

点赞数 2

本文链接：https://blog.csdn.net/Shinlikr/article/details/102660461

版权

本文介绍了如何使用Python进行简单的网络爬虫操作，以爬取猫眼电影数据为例，讲解了如何设置User-Agent来伪装浏览器避免被反爬虫策略拦截。通过F12开发者工具获取User-Agent，并提供了完整的爬虫代码实现。

摘要由CSDN通过智能技术生成

以爬取猫眼电影为例：

反爬虫操作：User-Agent伪装成通过浏览器浏览网页，User-Agent获取过程：在目标网页处按键F12，点击Network框，在出现的开发者界面中刷新当前界面，在出现的Request Header中找到User-Agent的值，复制下来：
在这里插入图片描述
（这里的User-Agent是任选网站的User-Agent，内容不具参考价值）

完整代码如下：

import requests
from lxml import etree
import json

def getOnePage(page):
    #字符串的格式化
    url = f'https://maoyan.com/board/4?offset={page*10}'

    header = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.98 Safari/537.36 LBBROWSER'}
    #伪装成浏览器
    r = requests.get(url, headers = header )

    return r.text

def parse(text):
    #初始化、标准化
    html = etree.HTML(text)
    #names是列表 xpath返回的一定是列表
    names = html.xpath('//div[@class="movie-