Python3网络爬虫开发实战（10）模拟登录（需补充账号池的构建）

最新推荐文章于 2024-08-15 23:34:28 发布
最新推荐文章于 2024-08-15 23:34:28 发布
阅读量796 收藏 10
点赞数 12
分类专栏： Python3网络爬虫开发实战 文章标签： 爬虫 python 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_72947390/article/details/141219083
版权

文章目录

很多情况下，网站的一些数据需要登录才能查看，如果需要爬取这部分的数据，就需要实现模拟登入的一些机制；模拟登录现在主要分为两种方式，一种是基于 Session 和 Cookie 的模拟登入，一种是基于 JWT（Json Web Token）的模拟登录。

对于第一种模式，打开网页后模拟登录，服务器会返回带有 Set-Cookie 字段的响应头，客户端会生成对应的 Cookie，其中保存着与 SessionID 相关的信息，之后发送给服务器的请求都会携带这个生成的 Cookie。服务器接收到请求后，会根据 Cookie 中保存的 SessionID 找到对应的 Session，同时效验 Cookie 里的相关信息，如果当前 Session 是有效的并且效验成功，服务器就判断当前用户已经登录，返回请求的页面信息，所以这种模式的核心是获取客户端登录后生成的 Cookie；

对于第二种模式，是因为现在有很多的网站采取的开发模式是前后端分离模式，所以使用 JWT 进行登录效验越来越普遍，在请求数据时，服务器会效验请求中携带的 JWT 是否有效，如果有效，就返回正常的数据，所以这种模式其实就是获取 JWT；

一、基于 Cookie 的模拟登录

如果要使用爬虫实现基于 Session 和 Cookie 的模拟登录，最为主要的是要维护好 Cookie 的信息，因为爬虫相当于客户端的浏览器；

  1. 如果在浏览器中登录了自己的账号，可以直接把网页中的 Cookie 复制给爬虫，就相当于手动在浏览器中登录；
  2. 如果让爬虫完全自动化操作，可以直接使用爬虫模拟登录过程，这个过程基本上就是一个 POST 请求，用爬虫把用户名，密码等信息提交给服务器，服务器会返回一个 Set-Cookie 字段，我们只需要将该字段保存下来，然后提交给爬虫请求就好；
  3. 如果 POST 请求难以构造，我们可以使用自动化工具来模拟登录，例如使用 Selenium，Playwright 来发送请求，然后获取 Cookie 进行发送请求；

二、基于 JWT 模拟登入

JWT 的字符串就是用户访问的凭证，所以模拟登录只需要做到以下几步：

  1. 模拟登录操作，例如拿着用户名和密码信息请求登录接口，获取服务器返回的结果，这个结果中通常包含 JWT 信息，将其保存下来即可；
  2. 之后发送给服务器的请求均携带 JWT，在 JWT 不过期的情况下，通常能正常访问和执行操作，携带方式多种多样，因网站而异；
  3. 如果 JWT 过期了，可能需要再次做第一步，重新获取 JWT；

三、账号池

如果爬虫要求爬取的数据量比较大，或者爬取速度比较快，网站又有单账号并发限制或者访问状态检测等反爬虫手段，我们的账号可能就无法访问网站或者面临封号的风险；

这时我们建立一个账号池进行分流，用多个账号随机访问网站或爬取数据，这样能大幅提高爬虫的并发量，降低被封号的风险，例如准备 100 个账号，将这 100 个账号都模拟登录，并保存对应的 Cookie 和 JWT，每次都随机抽取一个来访问，账号多，所以每个账号被选取的概率就小，也就避免了单账号并发量过大的问题，从而降低封号风险；

四、基于 Cookie 模拟登录爬取实战

目标网址：Scrape | Movie

账号：admin
密码：admin

这里由于登入请求构造并没有涉及到加密过程，因此我们可以直接构造 requests 请求来执行请求；仔细分析后可以发现登入请求返回的状态码是 302，同时登入完毕后页面自动发生了跳转，因此在使用 requests 够着 post 请求的时候，需要将 allow_redirects 参数设置为 False；

import requests
import parsel

headers = {
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7',
    'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6',
    'Cache-Control': 'max-age=0',
    'Connection': 'keep-alive',
    'Content-Type': 'application/x-www-form-urlencoded',
    'Origin': 'https://login2.scrape.center',
    'Referer': 'https://login2.scrape.center/login',
    'Sec-Fetch-Dest': 'document',
    'Sec-Fetch-Mode': 'navigate',
    'Sec-Fetch-Site': 'same-origin',
    'Sec-Fetch-User': '?1',
    'Upgrade-Insecure-Requests': '1',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36 Edg/126.0.0.0',
    'sec-ch-ua': '"Not/A)Brand";v="8", "Chromium";v="126", "Microsoft Edge";v="126"',
    'sec-ch-ua-mobile': '?0',
    'sec-ch-ua-platform': '"Windows"',
}

data = {
    'username': 'admin',
    'password': 'admin',
}

response = requests.post('https://login2.scrape.center/login', headers=headers, data=data, allow_redirects=False)

# 得到 cookies
cookies = response.cookies.get_dict()


# 将获取到的 cookie 放入 requests 的 get 请求中
response = requests.get('https://login2.scrape.center/', cookies=cookies, headers=headers)

# 解析网页数据
selector = parsel.Selector(response.text)
names = selector.xpath('//*[@id="index"]/div[1]/div[1]/div/div/div/div[2]/a/h2/text()').getall()

# 打印名字
print(names)

# ['霸王别姬 - Farewell My Concubine',
#  '这个杀手不太冷 - Léon',
#  '肖申克的救赎 - The Shawshank Redemption',
#  '泰坦尼克号 - Titanic',
#  '罗马假日 - Roman Holiday',
#  '唐伯虎点秋香 - Flirting Scholar',
#  '乱世佳人 - Gone with the Wind',
#  '喜剧之王 - The King of Comedy',
#  '楚门的世界 - The Truman Show',
#  '狮子王 - The Lion King']

在这里我们首先获得了 cookies，然后又手动要将 cookies 放入到后续的请求之中，这里我们可以构建 Session 请求来自动化添加 cookies；如下

import requests
import parsel

headers = {
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7',
    'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6',
    'Cache-Control': 'max-age=0',
    'Connection': 'keep-alive',
    'Content-Type': 'application/x-www-form-urlencoded',
    'Origin': 'https://login2.scrape.center',
    'Referer': 'https://login2.scrape.center/login',
    'Sec-Fetch-Dest': 'document',
    'Sec-Fetch-Mode': 'navigate',
    'Sec-Fetch-Site': 'same-origin',
    'Sec-Fetch-User': '?1',
    'Upgrade-Insecure-Requests': '1',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36 Edg/126.0.0.0',
    'sec-ch-ua': '"Not/A)Brand";v="8", "Chromium";v="126", "Microsoft Edge";v="126"',
    'sec-ch-ua-mobile': '?0',
    'sec-ch-ua-platform': '"Windows"',
}

data = {
    'username': 'admin',
    'password': 'admin',
}

# 构建 session
session = requests.Session()

# 发送登入请求
response = session.post('https://login2.scrape.center/login', headers=headers, data=data, allow_redirects=False)

# 无需手动配置 cookies，发送页面请求
response = session.get('https://login2.scrape.center/', headers=headers)

# 解析网页数据
selector = parsel.Selector(response.text)
names = selector.xpath('//*[@id="index"]/div[1]/div[1]/div/div/div/div[2]/a/h2/text()').getall()

# 打印名字
print(names)

# ['霸王别姬 - Farewell My Concubine',
#  '这个杀手不太冷 - Léon',
#  '肖申克的救赎 - The Shawshank Redemption',
#  '泰坦尼克号 - Titanic',
#  '罗马假日 - Roman Holiday',
#  '唐伯虎点秋香 - Flirting Scholar',
#  '乱世佳人 - Gone with the Wind',
#  '喜剧之王 - The King of Comedy',
#  '楚门的世界 - The Truman Show',
#  '狮子王 - The Lion King']

这里是对于请求未涉及到加密或者带有验证码的网站，如果涉及到加密但是又不会解密，我们可以使用自动化工具来获取 Cookie；这里以 Playwright 为例子；

import requests
import parsel
from playwright.sync_api import sync_playwright

def get_cookies():
    with sync_playwright() as playwright:
        cookies = {}
        browser = playwright.chromium.launch(headless=True)
        context = browser.new_context()
        page = context.new_page()
        page.goto("https://login2.scrape.center/login")
        page.locator('input[name="username"]').fill("admin")
        page.locator('input[name="password"]').fill("admin")
        page.locator('input[type="submit"]').click()

        cookieList = context.cookies()
        context.close()
        browser.close()

        for cookie in cookieList:
            cookies[cookie['name']] = cookie['value']

        return cookies


headers = {
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7',
    'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6',
    'Cache-Control': 'max-age=0',
    'Connection': 'keep-alive',
    'Content-Type': 'application/x-www-form-urlencoded',
    'Origin': 'https://login2.scrape.center',
    'Referer': 'https://login2.scrape.center/login',
    'Sec-Fetch-Dest': 'document',
    'Sec-Fetch-Mode': 'navigate',
    'Sec-Fetch-Site': 'same-origin',
    'Sec-Fetch-User': '?1',
    'Upgrade-Insecure-Requests': '1',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36 Edg/126.0.0.0',
    'sec-ch-ua': '"Not/A)Brand";v="8", "Chromium";v="126", "Microsoft Edge";v="126"',
    'sec-ch-ua-mobile': '?0',
    'sec-ch-ua-platform': '"Windows"',
}

cookies = get_cookies()
response = requests.get('https://login2.scrape.center/', cookies=cookies, headers=headers)

# 解析网页数据
selector = parsel.Selector(response.text)
names = selector.xpath('//*[@id="index"]/div[1]/div[1]/div/div/div/div[2]/a/h2/text()').getall()

# 打印名字
print(names)

# ['霸王别姬 - Farewell My Concubine',
#  '这个杀手不太冷 - Léon',
#  '肖申克的救赎 - The Shawshank Redemption',
#  '泰坦尼克号 - Titanic',
#  '罗马假日 - Roman Holiday',
#  '唐伯虎点秋香 - Flirting Scholar',
#  '乱世佳人 - Gone with the Wind',
#  '喜剧之王 - The King of Comedy',
#  '楚门的世界 - The Truman Show',
#  '狮子王 - The Lion King']

五、基于JWT 的模拟登录爬取实战

目标网址：Scrape | Movie

账号：admin
密码：admin

import requests

headers = {
    "Accept": "application/json, text/plain, */*",
    "Accept-Language": "zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6",
    "Connection": "keep-alive",
    "Content-Type": "application/json;charset=UTF-8",
    "Origin": "https://login3.scrape.center",
    "Sec-Fetch-Dest": "empty",
    "Sec-Fetch-Mode": "cors",
    "Sec-Fetch-Site": "same-origin",
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36 Edg/126.0.0.0",
    "sec-ch-ua": '"Not/A)Brand";v="8", "Chromium";v="126", "Microsoft Edge";v="126"',
    "sec-ch-ua-mobile": "?0",
    "sec-ch-ua-platform": '"Windows"',
}

json_data = {
    "username": "admin",
    "password": "admin",
}

# 这里使用 json 而不是使用 data 传参是因为 headers 中的 Content-Type 接受的是 application/json 数据
response = requests.post(
    "https://login3.scrape.center/api/login", headers=headers, json=json_data
)

# 获取 token 构建 headers 中的 Authorization
token = response.json()["token"]
Authorization = "jwt " + token
headers = {
    "Accept": "application/json, text/plain, */*",
    "Accept-Language": "zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6",
    "Authorization": Authorization,
    "Connection": "keep-alive",
    "Sec-Fetch-Dest": "empty",
    "Sec-Fetch-Mode": "cors",
    "Sec-Fetch-Site": "same-origin",
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36 Edg/126.0.0.0",
    "sec-ch-ua": '"Not/A)Brand";v="8", "Chromium";v="126", "Microsoft Edge";v="126"',
    "sec-ch-ua-mobile": "?0",
    "sec-ch-ua-platform": '"Windows"',
}

params = {
    "limit": "18",
    "offset": "0",
}

# 直接使用 get 请求获取数据
response = requests.get(
    "https://login3.scrape.center/api/book", params=params, headers=headers
)

print(response.json())

# {
#     "count": 9200,
#     "results": [
#         {
#             "id": "34473697",
#             "name": "R数据科学实战：工具详解与案例分析",
#             "authors": ["刘健", "邬书豪"],
#             "cover": None,
#         }
#     ],
# }

在这里由于使用的是 JWT，响应头中并不会返回一个 Set-Cookies 参数，因此使用 Session 来完成 JWT 是没有效果的，只能单个请求进行构建；

六、构建账号池

Bigcrab__
关注
  • 12
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python3网络爬虫开发实战，Cookies 池的搭建，破解反爬虫！
Python学习Q群696455390
08-06 649
很多时候，在爬取没有登录的情况下，我们也可以访问一部分页面或请求一些接口，因为毕竟网站本身需要做 SEO，不会对所有页面都设置登录限制。 很多人学习python，不知道从何学起。 很多人学习python，掌握了基本语法过后，不知道在哪里寻找案例上手。 很多已经做案例的人，却不知道如何去学习更加高深的知识。 那么针对这三类人，我给大家提供一个好的学习平台，免费领取视频教程，电子书籍，以及课程的源代码！ QQ群：101677771 但是，不登录直接爬取会有一些弊端，弊端主要有以下两点。 设置了登录限制的页
爬虫开发《Python3网络爬虫开发实战代码》
04-20
【爬虫开发】《Python3网络爬虫开发实战代码》 说明：《Python3网络爬虫开发实战代码》---->mitmtest (Practical code for development of Python 3 web crawler) 【爬虫开发】《Python3网络爬虫开发实战代码》文件...
《Python3网络爬虫开发实战（第二版）》内容介绍
静觅
11-07 3671
这是「进击的Coder」的第505篇分享作者：崔庆才大家好，本节首先来预告下即将出版的《Python3网络爬虫开发实战（第二版）》的主要内容。由于我已经把书的总体的内容介绍写在了书的前...
《Python3网络爬虫开发实战（第二版）》上市了！！！！
fengdu78的博客
11-29 2555
“阅读本文大概需要 5 分钟。”告诉大家一个好消息：我的好朋友崔庆才老师的《Python3网络爬虫开发实战（第二版）》现在正式上市了！！！！没错，就是这本：就是那个《Python3网络...
《Python3网络爬虫开发实战（第二版）》今天正式上市了！！！！
静觅
11-26 2306
“ 阅读本文大概需要 5 分钟。 ”大家好！我是崔庆才。今天告诉大家一个好消息：《Python3网络爬虫开发实战（第二版）》今天正式上市了！！！！没错，就是这本：2018 年 5 月我的《...
Python 3网络爬虫开发实战 崔庆才著_学习记录.zip
01-20
爬虫通常由搜索引擎、数据挖掘工具、监测系统等应用于网络数据抓取的场景。 爬虫的工作流程包括以下几个关键步骤： URL收集： 爬虫从一个或多个初始URL开始，递归或迭代地发现新的URL，构建一个URL队列。这些URL...
Python网络爬虫项目开发实战_并发下载_编程案例解析实例详解课程教程.pdf
05-03
【Python网络爬虫项目开发实战】中的并发下载技术是提高爬虫效率的关键。在传统的爬虫程序中，网页通常是顺序下载的，即一个网页下载完成后才会开始下一个网页的下载。这种方式在处理小型网站时可能足够，但对于大...
Python3网络爬虫开发实战之极验滑动验证码的识别
01-21
本节我们的目标是用程序来识别并通过极验验证码的验证，其步骤有分析识别思路、识别缺口位置、生成滑块拖动路径，最后模拟实现滑块拼合通过验证。 2. 准备工作 本次我们使用的 Python 库是 Selenium，使用的浏览器为...
《Python3网络爬虫开发实战代码》_python3_creaturerl3_python3爬虫_python_
09-29
【Python3网络爬虫开发实战代码】是一本深入讲解Python3网络爬虫技术的书籍，其实战部分主要涉及了mitmtest项目。该书旨在帮助读者掌握如何利用Python3进行高效的网页数据抓取和处理。在学习过程中，读者将接触并...
Python3网络爬虫开发实战（9）代理的使用 （需补充代理池的构建）
bigcrab的博客
08-15 412
未完待续
Python——爬虫
2302_81225694的博客
08-10 1830
上述代码中的示例网页URL为https://www.example.com，你可以将其替换为你所需爬取的网页地址。代码首先使用requests库发送HTTP GET请求获取网页内容，然后使用BeautifulSoup库解析网页内容。最后提取了网页的标题和所有链接，并打印出来。当编写一个Python爬虫时，你可以使用BeautifulSoup库来解析网页内容，使用requests库来获取网页的HTML代码。请注意，爬取网页时需要尊重网站的使用规则，并遵守相关法律法规。
Scrapy框架进行数据采集详细实现
weixin_49081159的博客
08-14 926
在本学期的python课程中，通过网课粗略的掌握了python的基础知识之后，老师提出通过运用python的模块进行附加的学习，于是我选择了Scrapy框架的学习，由此为基础对于链家网站的信息进行了爬取数据的操作，并将爬取的数据保存。这个项目提高了我的python编程水平，使得我对于爬虫技术的了解更加深入，粗略掌握了如何使用Scrapy框架进行爬虫操作，懂得了python的附加模块的强大之处，也激发了继续学习编程的兴趣。.py文件，修改对返回页面的处理，修改对新增URL爬取请求的处理。
获取数据源（多种方式爬虫介绍）
2301_79969279的博客
08-15 241
获取不同类型的数据源：对于看上的网站如何获取其信息：1.分析原网站是如何获取到这些数据的？哪个接口？哪些参数？2.用程序去调用接口（python/java都可以）3.处理一些数据，优化数据传入数据库java爬虫操作流程：先创建一个实体类：根据网络上需要操作的请求的属性规定实体类属性一一对应。
合规性导航：处理爬虫数据用于机器学习的最佳实践
2402_85758936的博客
08-12 576
在数据驱动的时代，机器学习已成为企业和研究者的重要工具。然而，使用爬虫技术抓取的数据进行机器学习时，合规性问题不容忽视。本文将详细探讨在使用爬虫抓取的数据进行机器学习时可能遇到的合规性问题，并提供相应的最佳实践。
用爬虫技术玩转石墨文档：自动化数据处理与信息提取的新探索
最新发布
招风的黑耳CSDN
08-15 207
用爬虫技术玩转石墨文档，不仅能够极大地提升数据处理与信息提取的效率，还能为企业和个人带来诸多便利。然而，在实际应用中，我们也需要注意合法合规、尊重版权以及应对反爬虫机制等问题。未来，随着技术的不断进步，相信爬虫技术在石墨文档及其他文档管理工具中的应用将更加广泛和深入。
用爬虫玩转石墨文档（上）
Dingdangr的博客
08-12 852
这时，爬虫技术作为一种自动化工具，能够极大地提升石墨文档的使用效率，实现数据的自动化抓取、整理、备份等功能。本文将详细探讨如何使用爬虫技术来“玩转”石墨文档，包括爬虫的基本概念、如何抓取石墨文档的内容、利用石墨文档API进行高级操作，以及爬虫在石墨文档应用中的多种场景。可以使用Python的requests库来发送HTTP请求，获取石墨文档的页面内容。抓取石墨文档内容涉及几个关键步骤：获取石墨文档的URL、解析文档内容、处理登录验证（如果需要的话），以及遵守石墨的服务条款和隐私政策。
网页的切换与嵌套
2301_80138548的博客
08-12 282
python爬虫中处理网页的切换与嵌套问题
Python爬虫:下载4K壁纸
神的博客
08-10 7543
🎁🎁创作不易，关注作者不迷路🎀🎀我们经常想要寻找一些高清的壁纸，图片作为素材（为CSDN博客找一张吸引读者的封面🤣），然而一张一张的下载太慢了，因此为了提高工作效率， 我们可以采用爬虫的方式，快速下载图片。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值