python爬虫使用Cookie的两种方法

最新推荐文章于 2024-04-22 13:40:15 发布
最新推荐文章于 2024-04-22 13:40:15 发布
阅读量648 收藏 3
点赞数
分类专栏： 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39025679/article/details/108814966
版权
本文介绍了Python爬虫在处理登录验证时如何使用Cookie的两种方法：一是直接将Cookie放入请求头，二是利用requests库插入Cookie。这两种方式都能帮助爬虫成功获取需要登录后才能查看的网页内容。
摘要由CSDN通过智能技术生成

1、直接将Cookie写在header头部

import requests
from bs4 import BeautifulSoup
cookie = '''cisession=19dfd70a27ec0eecf1fe3fc2e48b7f91c7c83c60;CNZZDATA1000201968=181584
6425-1478580135-https%253A%252F%252Fwww.baidu.com%252F%7C1483922031;Hm_lvt_f805f7762a9a2
37a0deac37015e9f6d9=1482722012,1483926313;Hm_lpvt_f805f7762a9a237a0deac37015e9f6d9=14839
26368'''
header = {
   
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36
最低0.47元/天 解锁文章
热衷开源的宝藏Boy
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
学了那么久Python还什么都做不了，我觉得你该试试这个方法了
龙叔的博客
11-08 1万+
答应我，别再做无用功了
python 爬虫 编程使用cookie信息两种方法
Yonggie的博客
12-27 1024
这里介绍两种使用cookie的信息方法。。 1.直接在header里面复制粘贴上你成功登录的cookie信息。 比如说，你打开chrome的F12，把选项打到network，浏览器帮你监控所有文件，f5刷新网页，即可看见有很多文件。 随便找找一个文件，找到header里面含有cookie，把里面的Cookie信息copy到你程序的header里面去即可。 拿python程序的ur...
Python爬虫学习--Cookie的使用
隔壁山上小道士的博客
01-13 1265
1. Cookie 为什么要使用Cookie呢？ Cookie，指某些网站为了辨别用户身份、进行session跟踪而储存在用户本地终端上的数据（通常经过加密） 比如说有些网站需要登录后才能访问某个页面，在登录之前，你想抓取某个页面内容是不允许的。那么我们可以利用Urllib库保存我们登录的Cookie，然后再抓取其他页面就达到目的了。 1.1 Opener 当你获取一个URL你使用一个opener(一个urllib.OpenerDirector的实例)。在前面，我们都是使用的默认的opener，也就是url
python爬虫之cookie的使用
finna_xu的博客
03-29 651
Cookie，指某些网站为了辨别用户身份、进行session跟踪而储存在用户本地终端上的数据（通常经过加密） 比如说有些网站需要登录后才能访问某个页面，在登陆之前，你想抓取某个页面内容是不允许的。那么我们可以利用urllib库保存我们登陆的cookie，然后抓取其他页面就达到目的了。 1.Opener 当你获取一个URL时，你使用一个opener。在前面，我们使用的都是默认的open
python爬虫cookie模拟登陆（二）
qq_43683503的博客
06-18 274
批量爬去内容简介和图片 小插曲 有点打脸，还以为自己失败了，刚开始自己换了个地址，发现输出的是空列表，以为没换个地址就要换个cookie，这样的话就该放弃了。 然后在取新鲜的cookie，发现只是时间变了，然后在爬多个不同地址，发现成功了，可已推测cookie在一定时间内有效。 开始切入正题 ...
Cookie的使用--爬虫
SteveForever的博客
07-24 257
在访问互联网页面时，通过无状态协议（无法维持会话之间的状态）HTTP进行。例如：我们访问需要登录的网站，可以通过两种方式存储登录状态。 （1）Cookie保存会话信息，保存在客户端。 （2）Session保存会话信息，保存在服务端。通过服务端给客户端发SessionID等信息，这些信息一般存储在客户端的 Cookie中。然后，用户在访问网站时，从Cookie中读取信息，然后从服务器中的Sessi...
cookie登陆_Python网络爬虫之Cookie技术（一）
weixin_39851048的博客
11-24 62
当我们访问一个需要用户名和密码登录的网站(例如某宝)时，只要我们注册好并成功登录后，下次访问该网站时，网站就会记住我们的登录信息，而无需重新登录。我们都知道HTTP协议是无状态的，是不可能对用户名和密码进行记录的，那浏览器或者服务器是怎么做到的？其实，这里面就使用到了一种叫Cookie的技术。1 Cookie是什么？cookie 是指某些网站为了辨别用户身份、进行session跟踪而储存在用户本地...
网络爬虫与cookie简介
weixin_40183314的博客
12-06 594
1    web爬虫是一种机器人，她们会递归对各种信息性web站点进行遍历，获取第一个web页面，然后获取那个页面指向的所有页面，然后是那些web页面指向的所有页面。以此类推，递归地追踪这些web链接的机器人会沿着HTML超链接创建的网络爬行，所以将其称为爬虫。   2    Web站点与robot.txt       如果一个站点有robot.txt文件，那么在访问这个web站
测试之道--网络爬虫系列5（cookie处理）
py_tester的博客
11-19 294
什么是cookie 在爬虫的使用中，如果涉及到登录等操作经常会用到cookie，简单地说，我们访问的每一个互联网页面，都是通过http协议运行的，而http协议是一个无状态的协议：无法保存、维持会话之间的状态，如使用http成功登录一个网站，但是当我们访问该网站其他网页的时候，该登录状态会消失，此时还需要重新再登录一次，只要涉及到页面的更新都需要重新登录，这很不方便，所以我们就需要保存登录信息：c
爬虫之cookie处理
youhebuke225的博客
04-08 3547
一般我们请求的时候，请求头的信息不够就会导致访问不成功 在请求的时候有两个比较重要的信息cookie、referer 两个重要的信息 cookie携带着你的登录信息，如果我们登录之后有cookie，那么在请求的时候应该在请求头上携带cookie的信息 referer一般用来判断当前路径是不是由上一个路径进来的，一般做图片防盗链，他所表示的是上一个页面 例子 我们写一个微博的cookie登录 import urllib.request url = 'https://weibo.cn/645149.
9.网络爬虫—理解并利用Cookie进行高级网页抓取
最新发布
weixin_63740705的博客
04-22 1481
在前面的例子中，我们使用的是默认的opener，也就是urlopen。它是一个特殊的opener，可以理解成opener的一个特殊实例，传入的参数仅仅是url、data和timeout。它非常强大，我们可以利用该模块的CookieJar类的对象来捕获cookie并在后续连接请求时重新发送，比如可以实现模拟登录功能。创建一个带有cookie的opener，在访问登录的URL时，将登录后的cookie保存下来，然后利用这个cookie来访问其他网址。最后，我们使用自定义的opener打开URL并获取响应。
【Python爬虫】第二课 网络编程基础
笔触狂放的博客
09-15 821
套接字（socket）网络上的两个程序通过一个双向的通信连接实现数据的交换，这个连接的一端称为一个socket。套接字是socket的通常叫法，用于描述IP地址和端口，是一个通信链的句柄，可以用来实现不同虚拟机或不同计算机之间的通信。Python中Socket库为操作系统的socket实现提供了一个Python接口。
cookie、session、token联系与区别
蓝色海洋-探寻
07-02 1197
cookie、session、token联系与区别。
一个简单的不用cookie的人人网状态爬取的python爬虫，使用beautifulsoup
sscssz的博客
11-21 2186
昨天晚上闲着无聊翻翻人人，想来过去几年一直用的人人，里面好多喜怒哀乐。正好最近在写爬虫，干脆把它都弄下来留着吧。于是开工。 爬取的是我自己的全部已经发过的状态。 先是，向所有人一样，百度了一下，有没有现成的解决方案，确实有不少，说要先登录，然后再保留cookie，然后再用什么正则表达式，好是麻烦。 然后登录人人，分析它的网页结构，还是挺麻烦的，状态的界面都是用ajax
GA/百度统计/Piwik:网站分析工具的Cookie设置和访次切分规则
热门推荐
路
06-07 1万+
目前主流的网站分析工具一般都是通过javascript检测的方式进行访问监控的，包括商业产品（Omniture）、免费产品（GA/百度统计/CNZZ）、开源产品（Piwik）。虽然说原理大致相同，但是不同的工具在一些基础的统计方法上方式还是有一些微妙的差别。譬如，你在使用多种网站分析工具对同一个网站进行监控时，经常会发现不同的工具给出的Visits总是会有差异（绝对数量有差异，但趋势一致）。即使理
python爬虫进阶教程之如何正确的使用cookie
2301_80240808的博客
11-28 2769
很多时候，我们要查看的内容必须要先登录才能找到，比如知乎的回答，QQ空间的好友列表、微博上关注的人和粉丝等。要使用爬虫直接登录抓取这些信息时，有一个不太好解决的难题，就是这些网站设置的登录规则以及登录时的验证码识别。不过，我们可以想办法绕过去，思路是这样的：先使用浏览器登录，从浏览器获取登录后的“凭证”，然后将这个“凭证”放到爬虫里，模拟用户的行为继续抓取。这里，我们要获取的凭证就是cookie信息。这次我们尝试使用python和cookie来抓取QQ空间上的好友列表。
python 获取cookie的方法
花生日记
05-11 9723
要获取 Cookie，需要使用一个 Python模块： 在获取 Cookie之前，需要先进行一些准备工作： ①首先需要在 Web服务器上安装 pygame. content （）函数 ②然后将 pygame. content （）函数连接到一个远程的服务器，该服务器位于一个虚拟主机中 ③然后将 cookie参数传递给这个虚拟主机的 pygame. content （）函数，并设置参数的范围（即是否要获取网站上所有的 Cookie）。在服务器上，请求的对象是 Cookie，而响应的对象是用户的账号和密码。
2022 带你深入了解 Cookie是什么? python修改cookie
weixin_45598506的博客
01-25 523
一、什么是cookie，cookie的作用 HTTP协议本身是无状态的。什么是无状态呢，无状态是指Web浏览器与Web服务器之间不需要建立持久的连接，这意味着当一个客户端向服务器端发出请求，然后Web服务器返回响应（Response），连接就被关闭了，在服务器端不保留连接的有关信息。也就是说，HTTP请求只能由客户端发起，而服务器不能主动向客户端发送数据。即服务器无法判断用户身份。Cookie实际上是一小段的文本信息（key-value格式）。客户端向服务器发起请求，如果服务器需要记录该用户状态，就使用re
python爬虫获取cookie
11-15
以下是两种Python爬虫获取cookie的方法： 1. 利用requests库获取cookie ```python import requests # 发送登录请求，获取cookie login_url = 'http://www.example.com/login' data = {'username': 'your_username...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值