python使用Cookie登录网页爬取信息（超简单）

最新推荐文章于 2025-03-03 15:04:36 发布

卡布达打小怪兽_Cheer

最新推荐文章于 2025-03-03 15:04:36 发布

阅读量5.9k

点赞数 8

本文链接：https://blog.csdn.net/haoronge9921/article/details/103511467

版权

本文介绍了如何在Python中使用Cookie进行网页登录并爬取信息，适合初学者。通过设置'User-Agent'和获取登录后的Cookie，配合代码实现简单爬虫。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

python使用Cookie登录网页爬取信息（超简单）

因为工作原因，需要爬取一个医疗行业的网站的信息，而且目标网站还要登录才给你展现完整的页面，所以有了本文……

看了好多爬取需要登录的博客，过程不表(–__–），大部分都太复杂了，最后，我参考了几个简单的文章，这里做下记录，希望帮到有缘人，以下是正文…

构建headers

1、‘User-Agent’

让程序伪装成浏览器，从网页上找到自己浏览器的标识，大家应该知道怎么找到，具体的如图：
在这里插入图片描述

2、Cookie

还是那个位置，找到我们专属Cookie，注意是要登录后的Cookie，具体如图：
在这里插入图片描述

3、代码

一切不贴代码的教程都是耍流氓

import requests

session

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

卡布达打小怪兽_Cheer

关注关注

8
点赞
踩
24

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

python模拟登录获取Cookie

猿小白的博客

06-25

6560

在自动化处理过程中，有些操作往往需要登录之后才能进一步操作，所以我们需要通过登录获取到cookies信息，因为登录信息一般都是保存到cookies当中的，我们只需要在登录完成后把请求返回的cookies放到需要登录的url请求的headers中即可模拟已登录操作。 # 自动登录 def login(): # 登录表单信息 data = { "ticket": "xxxxx", "randstr": "xxxxx", "id": "xx..

python爬虫模块取cookie_Python爬虫教程-13-爬虫使用cookie爬取登录后的页面(人人网)（下）...

weixin_34286711的博客

02-04

279

Python爬虫教程-13-爬虫使用cookie爬取登录后的页面(下)自动使用cookie的方法，告别手动拷贝cookiehttp模块包含一些关于cookie的模块，通过他们我们可以自动的使用cookie- CookieJar管理存储Cookie，向传出的http请求添加cookie这里Cookie存储在内存中，CookieJar实例回收后cookie将消失- FileCookieJar(file...

1 条评论您还未登录，请先登录后发表或查看评论

Python Cookie HTTP获取cookie并处理

weixin_33989058的博客

12-09

480

Cookie模块同样是Python标准库中的一员，它定义了一些类来解析和创建HTTP 的 cookie头部信息。一、创建和设置Cookie >>> import Cookie #导入Cookie操作模块，注意首字母是大写的。>>> c = Cookie.SimpleCookie() #创建对象>>> c[‘mycookie’] = ‘co...

Python爬虫学习（一）--简单cookies爬取

ximo的博客

01-01

1878

Python爬虫之cookie的简单爬取 1.直接爬取（cookie显示在编译器中）： import http.cookiejar,urllib.request cookie = http.cookiejar.CookieJar() # 声明CookieJar对象 handler = urllib.request.HTTPCookieProcessor(cookie) # 构建Handler opener = urllib.request.build_opener(handler) respons

Python自动化测试之cookie绕过登录（保持登录状态)

热门推荐

weixin_52690231的博客

03-03

2万+

使用Cookie登录网页

python爬虫-使用cookie登录

weixin_34138377的博客

09-24

1741

前言：什么是cookie? Cookie，指某些网站为了辨别用户身份、进行session跟踪而储存在用户本地终端上的数据（通常经过加密）。比如说有些网站需要登录后才能访问某个页面，在登录之前，你想抓取某个页面内容是不允许的。那么我们可以利用Urllib库保存我们登录的Cookie，然后再抓取其他页面,这样就达到了我们的目的。一、Urllib库简介...

利用cookie信息登录web站点

Jeromeyoung

02-27

1万+

利用cookie信息登录web站点日常生活中，每当登录一个网站站点、客户端程序都会用到验证方式，账号密码、手机短信验证码登录自己的账号；一年下来我发现以前常用的账号密码登录都在改变为手机短信验证码登录甚至是直接不使用密码仅凭手机验证，我猜想可能是近年来越来越多的企业、用户对安全的注重，为了避免cookie信息的泄露所以也就减少账号密码的使用方式。（这一点我也是根据近年来cookie的变化...

Python实现爬取需要登录的网站完整示例

09-21

本篇文章将详细介绍如何使用Python来爬取那些需要用户登录后才能访问的网站。 #### 一、准备工作在开始之前，我们需要确保安装了以下Python库： - `requests`：用于发送HTTP请求。 - `lxml`：用于解析HTML文档，...

爬取微信公众号文章,基于Python的爬虫，通过selenium登录获取token和cookie，再自动爬取和下载

11-16

爬取微信公众号文章,基于Python的爬虫，通过selenium登录获取token和cookie，再自动爬取和下载，使用公众号写文章时支持搜索其他公众号的文章的方式，来实现爬取指定公众号所有文章的目的。

Python3爬虫之urllib携带cookie爬取网页的方法

01-20

如下所示： import urllib.request import urllib.parse ...#正常的方式进行访问 # headers = { # 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0;...# 携带cookie进行访问 headers = { 'GET https':'//weibo.cn/5

python爬取jsp网页_python网络爬虫模拟登录爬取绩点（使用requests库）

weixin_39607873的博客

12-03

1653

前言：随说学校教务提供API读取成绩，但获得权限要申请。正好刚刚学习爬虫就自己来一下。折腾了两天看了无数的教程。犯下了无数傻瓜的错误(下面会说到。折磨的我不要不要的)废话不说了先上代码import requestsimport sysreload(sys)sys.setdefaultencoding('utf8')hea = {'User-Agent':'Mozilla/5.0 (Windows ...

使用cookie登录网站（人人网）

qq_37253540的博客

06-26

1万+

1、cookie登录主要步骤： # 创建一个cookiejar对象 cj = http.cookiejar.CookieJar() # 通过cookiejar创建一个handler handler = urllib.request.HTTPCookieProcessor(cj) # 根据handler创建一个opener opener = urllib.requ...

使用Cookie访问需要登录的网页（人人网）

Shirley的博客

08-15

1104

方法一：将网页上的Cookie信息提取出来。放到headers中。 from urllib import request #1，使用cookie去请求大鹏主页 dapeng_url="http://www.renren.com/880151247/profile" headers={ 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; ...

[python]cookie模拟登录数据采集（requests请求,xpath数据解析，结果输出）

liyunyang2000的博客

06-09

286

cookie模拟登录人人网，爬虫访问某个人的主页（如包贝尔主页）

用Cookie实现登录功能

xw_LazyCat的博客

04-02

5301

掌握要点巩固EL 与隐式对象Cookie 使用巩固Servlet 中的请求与跳转理解并掌握Cookie 会话跟踪机制理解并掌握Servlet 中session 会话跟踪说明:实现登录功能，成功登录后，将用户名和密码保存到sission 中，并跳转到登录成功欢迎界面，显示“欢迎XXX登录成功”，失败则跳转到登录界面，在成功登录后，也将用户和密码保存到客户端Cookie文件中。再次进到登录界面是，从C...

cookie实现用户登录

qq_38148024的博客

08-21

5626

案例说明用户访问一个网站时，第一次访问会记录该用户的登录信息，下次该用户访问同一个网站就不需要重新登录了，通过验证后就可以访问该网站的内容。保存用户登录信息的方式有很多种：直接将用户名和密码保存在cookie中，下次用户访问的时候对比cookie中的用户名和密码与数据库中的信息是否一致，但是这种方式不安全。将用户密码加密后保存在cookie中，下次用户访问时，将该信息解密后再与数据库中的信息进行对比验证。将用户账号与访问时间戳，验证时只需要验证用户账号和时间戳即可。以上方法，用户每次访问该

使用cookie用户登录页面及登录成功记录登录时间

博客

11-07

862

需要本地运行，不能在编辑器上直接快捷键运行引用getCookie封装方法需要两张网页样式首页登录框样式 css样式 <style> *{ margin: 0; padding: 0; } html,body{ width: 100%; height: 100%; background-color: lightpink; } a{ font-size: 20px; color: red; } .login{ wi

Python使用MongoDB爬取网页数据技巧与Mars应用

使用Python进行网络爬虫开发，因其简单易学、拥有丰富的第三方库支持，成为了数据抓取和网络自动化任务的首选语言。 Python网络爬虫部分的知识点包括但不限于以下几个方面： 1. Python基础：了解Python的基本语法...