python网络爬虫系列（三）——cookie的原理、保存与加载

最新推荐文章于 2024-05-04 07:56:58 发布
最新推荐文章于 2024-05-04 07:56:58 发布
阅读量870 收藏 4
点赞数 4
文章标签： python cookie 爬虫 爬虫 搜索引擎 java爬虫程序 爬虫搜索 关键字搜索 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44827418/article/details/107141009
版权

一、什么是cookie？

在网站中,http请求是无状态的.也就是说即使第一次和服务器连接后并且登录成功后,第二次请求服务器依然不能知道当前请求是哪个用户。
cookie的出现就是为了解决这个问题,第一次登录后服务器返回一些数据(cookie)给浏览器,然后浏览器保存在本地,当该用户发送第二次请求的时候,就会自动的把上次请求存储的cookie数据自动的携带给服务器,服务器通过浏览器携带的数据就能判断当前用户是哪个了。cookie存储的数据量有限,不同的浏览器有不同的存储大小,但一般不超过4KB.因此使用cookie 只能存储一些小量的数据.
cookie的格式:

Set-Cookie:NAME=VALUE:Expires/Max-age=DATE;Path=PATH;Domain=DONAIIN_NAME;SECURE

参数意义：

  • NAME:cookie的名字。
  • VALUE:cookie的值。
  • Expires:cookie的过期时间。
  • Path:cookie作用的路径。
  • Domain:cookie作用的域名。
  • SECURE：是否只在https协议下起作用。

使用cookielib库和HTTPCookieProcessor模拟登录：
Cookie是指网站服务器为了辨别用户身份和进行Session跟踪，而储存在用户刻览器上的文本文件，Cookie可以保持登录信息到用户下次与服务器的会话。
这里以人人网为例。人人网中，要访问某个人的主页，必须先登录才能访问，登录说白了就是要有cookie信息。那么如果我们想要用代码的方式访问，就必须要有正确的cookie信息才能访问。解决方案有两种，第一种是使用刻览器访问，然后将cookie信息复制下来，放到headers中。示例代码如下：

from urllib import request


# 1.不使用cookie请求大鹏主页
# dapeng_url = "http://www.renren.com/880151247/profile"
# headers = {
#     "User-agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36"
#
# }
#
# req = request.Request(url=dapeng_url,headers=headers)
# resp = request.urlopen(req)
# # print(resp.read().decode('utf-8'))
# with open('renren.html','w') as fp:
#     # write函数必须写入一个str的数据类型
#     # resp.read()读出来的是bytes数据类型
#     # bytes -> decode -> str
#     # str -> encode -> bytes
#     fp.write(resp.read().decode('utf-8'))


# 2.使用cookie
dapeng_url = "http://www.renren.com/880151247/profile"
headers = {
    "User-agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36",
    "Cookie":"anonymid=kc8gdto1-vg5rhe; depovince=ZGQT; _r01_=1; taihe_bi_sdk_uid=e248d1662297420b5f06cd39f5473be6; JSESSIONID=abcd7dz_b4rckd6y2ZEmx; taihe_bi_sdk_session=73ccff9edc2442cb1943f51498722d59; ick_login=917cc18b-cda3-4db0-9cfb-da1e66d794ed; t=7e664919cb492b651432f05ae73537fd8; societyguester=7e664919cb492b651432f05ae73537fd8; id=974712998; xnsid=e1262476; jebecookies=cc307376-600f-4a31-8694-23c4c218aecb|||||; ver=7.0; loginfrom=null; XNESSESSIONID=ac057eb05af7; WebOnLineNotice_974712998=1"

}

req = request.Request(url=dapeng_url,headers=headers)
resp = request.urlopen(req)
# print(resp.read().decode('utf-8'))
with open('renren1.html','w',encoding='utf-8') as fp:
    # write函数必须写入一个str的数据类型
    # resp.read()读出来的是bytes数据类型
    # bytes -> decode -> str
    # str -> encode -> bytes
    fp.write(resp.read().decode('utf-8'))

在这里插入图片描述
但是每次在访问需要cookie的页面都要从浏览器中复制cookiet较麻烦。在Python处理Cookie，一般是通过http.cookiejar模块和ur11ib惯块的HTTPCookieProcessor 处理器类一起使用。http.cookiejar模块主要作用是提供用于存储cookie的对象。
而HTTPCookieProcessor 处理器主要作用是处理这些cookie对象，并构建handler对象。

http.cookiejar模块：
该模块主要的类有CookieJar、FileCookieJar、MozllaCookieJar、LwPCookieJar。这四个类的作用分别如下：

  1. CookieJar：管理HTTP cookie值、存储HTTP请求生成的cookie、向传出的HTTP请求添加cookie的对象。整个cookie都存储在内存中，对CookieJar实例进行垃圾回收后cookie也将丢失。

  2. FileCookieJar（filename.delayload=None，policy=None）：从CookieJar派生而来，用来创建FileCookieJar实例，检素cookie信息并将cookie存储到文件中。filename是存储cookie的文件名。delayload为True时支持延迟访问访问文件，即只有在需要时才读取文件或在文件中存储数据。

  3. MozillaCookieJar（filename.delayload=None.policy=None）：从FileCookieJar凝生而来，创建与Mozilla/览器cookies.txt兼容的FileCookieJar实例。

  4. LWPCookieJar（filename，delayload=None，policy=None）：从FileCookieJar派生而来，创建与libwww-per标准的 Set-Cookie3文件格式兼容的FileCookieJar实例。

利用http.cookiejar和request.HTTPCookieprocessor登录人人网。相关示例代码如下：

from urllib import request
from http.cookiejar import CookieJar
from urllib import parse


# 1、登录
# 1.1 创建一个cookiejar对象
cookiejar = CookieJar()

# 1.2 使用cookiejar创建一个HTTPCookieProcess对象
handler = request.HTTPCookieProcessor(cookiejar)

# 1.3 使用上一步创建的handler创建一个opener
opener = request.build_opener(handler)

# 1.4 使用opener发送登录请求（人人网的邮箱和密码）
headers = {
"User-agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36"
}
data = {
    'email':"你的用户邮箱",
    'password':"密码"
}


login_url = "http://www.renren.com/PLogin.do"
req = request.Request(login_url,data=parse.urlencode(data).encode('utf-8'),headers=headers)
opener.open(req)

# 2、访问个人主页
dapeng_url = "http://www.renren.com/880151247/profile"
# 获取个人主页信息页面时，不要新建opener
# 应该使用前面创建好的opener,因为之前的那个opener已经包含了登录所需要的cookie信息
req = request.Request(dapeng_url,headers=headers)
resp = opener.open(req)
with open('renren2.html','w',encoding='utf-8') as fp :
    fp.write(resp.read().decode('utf-8'))

from urllib import request
from http.cookiejar import CookieJar
from urllib import parse

headers = {
    "User-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36"
}

def get_opener():
    # 1、登录
    # 1.1 创建一个cookiejar对象
    cookiejar = CookieJar()

    # 1.2 使用cookiejar创建一个HTTPCookieProcess对象
    handler = request.HTTPCookieProcessor(cookiejar)

    # 1.3 使用上一步创建的handler创建一个opener
    opener = request.build_opener(handler)
    return opener

def login_renren(opener):
    # 1.4 使用opener发送登录请求（人人网的邮箱和密码）
    data = {
        'email': "你的用户邮箱",
        'password': "密码"
    }

    login_url = "http://www.renren.com/PLogin.do"
    req = request.Request(login_url, data=parse.urlencode(data).encode('utf-8'), headers=headers)
    opener.open(req)



def visit_profile(opener):
    # 2、访问个人主页
    dapeng_url = "http://www.renren.com/880151247/profile"
    # 获取个人主页信息页面时，不要新建opener
    # 应该使用前面创建好的opener,因为之前的那个opener已经包含了登录所需要的cookie信息
    req = request.Request(dapeng_url, headers=headers)
    resp = opener.open(req)
    with open('renren3.html', 'w', encoding='utf-8') as fp:
        fp.write(resp.read().decode('utf-8'))


if __name__ == '__main__':
    opener = get_opener()
    login_renren(opener)
    visit_profile(opener)

在这里插入图片描述

保存cookie到本地：
保存cookie到本地，可以使用cookiejar的save方法，并且需要指定一个文件名：

from urllib import request
from http.cookiejar import MozillaCookieJar

cookiejar = MozillaCookieJar('cookie.txt')
handler = request.HTTPCookieProcessor(cookiejar)
opener = request.build_opener(handler)

resp = opener.open('http://www.baidu.com/')

cookiejar.save()

在这里插入图片描述
通过http://httpbin.org/cookies/set?course=abc 来设置cookie:

from urllib import request
from http.cookiejar import MozillaCookieJar

cookiejar = MozillaCookieJar('cookie1.txt')
# cookiejar.load()
handler = request.HTTPCookieProcessor(cookiejar)
opener = request.build_opener(handler)

# resp = opener.open('http://www.baidu.com/')
resp = opener.open('http://httpbin.org/cookies/set?course=abc')
# resp = opener.open('http://httpbin.org/cookies')
# for cookie in cookiejar:
#     print(cookie)
cookiejar.save(ignore_discard=True)

在这里插入图片描述
加载保存在本地的cookie:

from urllib import request
from http.cookiejar import MozillaCookieJar

cookiejar = MozillaCookieJar('cookie1.txt')
cookiejar.load(ignore_discard=True) # 加载保存在本地的cookie
handler = request.HTTPCookieProcessor(cookiejar)
opener = request.build_opener(handler)

# resp = opener.open('http://www.baidu.com/')
# resp = opener.open('http://httpbin.org/cookies/set?course=abc')
resp = opener.open('http://httpbin.org/cookies')
for cookie in cookiejar:
    print(cookie)
# cookiejar.save(ignore_discard=True)

在这里插入图片描述

小小白学计算机
关注
  • 4
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
使用cookie对象把数据存储在cookie上，并显示在页面中，
qq_42358704的博客
06-14 7371
一个简单的例子，第一步：<form action="manager.jsp" method="GET"> 用户名：<input type="text" name="username"/><br/> 密码：<input type="password" name="password"/&g
Python_大众点评网站数据爬虫
07-19
这里我们将深入讲解Python爬虫的基础知识、Eclipse与PyDev的集成开发环境设置，以及如何针对特定网站进行数据抓取。 首先，Python是Web爬虫领域广泛使用的语言，其简洁的语法和丰富的第三方库如BeautifulSoup和...
Web前端数据存储—cookie机制
smx
03-05 6111
HTTPCookie，通常叫做cookie，是用于客户端存储会话信息的。例如平常我们使用的浏览器保存某个网页的登陆用户名，是浏览器提供的一种机制，交由javascript处理cookie，即BOM的document.cookie属性；    Cookie在性质上是绑定在特定的域名下，当设定一个cookie后，再给创建它的域名发送请求时，都会包含这个cookie。这个限制确保cookie只能让
2024年Python最新认识爬虫：提取网站 cookie 信息，并使用 cookie 信息实现登录，2024年最新Python开发面试技巧
最新发布
2401_84138890的博客
05-04 950
别在网上瞎学了，我最近也做了一些资源的更新，只要你是我的粉丝，这期福利你都可拿走。我先来介绍一下这些东西怎么用，文末抱走。这是我花了几天的时间去把Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。最近我才对这些路线做了一下新的更新，知识体系更全面了。
Python的Cookie详解
热门推荐
浅然的专栏
11-05 4万+
一、介绍啥是cookie 当用户通过浏览器首次访问一个域名时，访问的web服务器会给客户端发送数据，以保持web服务器与客户端之间的状态保持，这些数据就是cookie，它是Internet站点创建的，为了辨别用户身份而储存在用户本地终端上的数据，cookie大部分都是加密的，cookie存在与缓存中或者硬盘中，在硬盘中的是一些文本文件，当你访问该网站时，就会读取对应的网站的cookie信息，co
python 爬虫 cookies_Python爬虫 | cookies的使用
weixin_39774808的博客
12-07 767
一、简介cookie概念当用户通过浏览器首次访问一个域名时，访问的web服务器会给客户端发送数据，以保持web服务器与客户端之间的状态保持，这些数据就是cookie。Cookie 是指某些网站服务器为了辨别用户身份和进行Session跟踪，而储存在用户浏览器上的文本文件，Cookie可以保持登录信息到用户下次与服务器的会话。为什么会有cookie呢？因为http和https都是短链接，链接成功之后...
爬虫过程中cookie保存的方法
WH的博客
05-21 1817
这里我用的是第三方库requests。 有两种思路： 一、访问过后直接保存cookie到代码中； 二、开启一个session，将cookie保存到session中。 这两种都可以将cookie保存，并在接下来的访问中不需要再验证cookie。 一、 import requests from requests.cookies import RequestsCookieJar class Spid...
Python爬虫数据可视化分析大作业.zip
05-29
Python爬虫数据可视化分析大作业是一个综合性的Python实战项目，旨在教授如何利用Python进行网络爬虫，对抓取的数据进行处理、分析，并通过可视化手段展示结果。该项目涵盖了多个关键的知识点，包括Python基础、网络...
初始python爬虫-爬取彼岸图单张到全部图片（csdn）————程序.pdf
12-04
这篇教程主要介绍了如何使用Python爬虫来下载彼岸图网站上的图片，从单张图片的爬取到整页图片的批量下载。 首先，我们需要了解基本的爬虫流程。在Python中，最常用的库之一是`requests`，用于发送HTTP请求；另一个...
自己动手抓数据-网络爬虫
03-14
《自己动手抓数据-网络爬虫》是一篇深入探讨数据抓取技术的文章，它涵盖了从基础知识到高级应用的全面内容。网络爬虫是信息技术领域的一个重要分支，主要用于自动化地从互联网上获取大量信息，这对于数据分析、市场...
招聘网站分析-智联招聘网的爬虫设计与实现
07-15
Scrapy是一个强大的Python爬虫框架，它提供了完整的爬取、解析、存储等功能。以下是使用Scrapy的步骤： 1. **安装Scrapy**：确保已经安装了Python，然后通过命令行运行`pip install scrapy`进行安装。 2. **创建...
JiandanSpider:煎蛋网图片爬虫
05-15
《煎蛋网图片爬虫——Python爬虫技术详解》 在互联网信息丰富的今天，爬虫技术作为数据挖掘的重要工具，被广泛应用于各种场景。本文将深入探讨如何利用Python编写一个煎蛋网图片爬虫——JiandanSpider，解决煎蛋网...
IntroCourse:使用 Python 进行网页抓取和数据分析简介
06-29
在本课程"IntroCourse:使用 Python 进行网页抓取和数据分析简介"中，我们将深入探讨如何利用Python这一强大编程语言来实现网页抓取和数据分析的基本步骤与技术。Python因其简洁明了的语法和丰富的库支持，成为了这两...
githubcrawler:一个 github 仓库爬虫
07-09
6. **延迟加载和反爬机制**：处理GitHub的分页、延迟加载和反爬策略，如设置User-Agent、Cookie，处理验证码或IP限制。 7. **API使用**：GitHub提供API接口，爬虫可以利用这些接口直接获取仓库信息，但需要注意API...
crawler:爬网新浪微博和大中网站的爬虫，这是我的毕业设计
05-16
【标题】：微博与大中型网站爬虫的实现——基于Python的网络数据抓取 在信息化社会，网络数据已经成为研究、分析和决策的重要资源。爬虫作为一种自动化获取网页信息的工具，对于数据挖掘和分析具有重要作用。本项目...
taobao_seckill-master.zip
02-27
本文将深入探讨一个基于Python编写的淘宝抢购程序——"taobao_seckill-master.zip"，帮助读者理解其背后的原理和技术细节。 首先，"taobao_seckill-master.zip"是一个包含源代码的压缩包，主要用于实现自动化淘宝...
python 获取cookie的方法
花生日记
05-11 9579
要获取 Cookie，需要使用一个 Python模块： 在获取 Cookie之前，需要先进行一些准备工作： ①首先需要在 Web服务器上安装 pygame. content （）函数 ②然后将 pygame. content （）函数连接到一个远程的服务器，该服务器位于一个虚拟主机中 ③然后将 cookie参数传递给这个虚拟主机的 pygame. content （）函数，并设置参数的范围（即是否要获取网站上所有的 Cookie）。在服务器上，请求的对象是 Cookie，而响应的对象是用户的账号和密码。
用Python获取浏览器Cookies的多种方式
xiaoganbuaiuk的博客
11-23 3468
在进行Web应用程序测试和开发时，获取浏览器Cookies是一项重要任务。Cookies包含了存储在用户浏览器中的信息，如会话状态、用户首选项等。在本文中，我们将介绍多种用Python获取浏览器Cookies的方式，并提供相应的实战代码示例。
python爬虫进阶教程之如何正确的使用cookie
2301_80240808的博客
11-28 2513
很多时候，我们要查看的内容必须要先登录才能找到，比如知乎的回答，QQ空间的好友列表、微博上关注的人和粉丝等。要使用爬虫直接登录抓取这些信息时，有一个不太好解决的难题，就是这些网站设置的登录规则以及登录时的验证码识别。不过，我们可以想办法绕过去，思路是这样的：先使用浏览器登录，从浏览器获取登录后的“凭证”，然后将这个“凭证”放到爬虫里，模拟用户的行为继续抓取。这里，我们要获取的凭证就是cookie信息。这次我们尝试使用python和cookie来抓取QQ空间上的好友列表。
python-网络爬虫.pdf
01-09
"Python-网络爬虫.pdf"是一份深入探讨Python编程在构建网络爬虫方面的教程资料。该文档主要关注如何利用Python的强大功能进行网页抓取和数据挖掘。以下是从章节标题和描述中提炼出的关键知识点： 1. 网络爬虫的定义...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值