# 爬虫requests的高级操作

最新推荐文章于 2024-04-15 12:06:07 发布
最新推荐文章于 2024-04-15 12:06:07 发布
阅读量261 收藏 1
点赞数
分类专栏： python爬虫学习笔记 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/czb6816/article/details/105393442
版权
本文介绍了Python爬虫中requests库的高级操作，包括处理cookie、使用代理、验证码识别和模拟登录。针对大量请求时出现的HTTPConnectionPool错误，提出了设置Connection为close、更换IP和设置请求间隔等解决方案。
摘要由CSDN通过智能技术生成

requests高级操作

目录

1.cookie的处理

2.代理操作

3.验证码识别

4.模拟登陆

 

一、cookie

  • cookie是存储在客户端的一组键值对
  • cookie是由服务器端创建
  • cookie应用的简单实例：
    • 免密登陆（指定时长之内）

在爬虫中处理cookie的两种方式

  • 手动处理
    • 将cookie封装到headers字典中，将该字典作用到get/post方法中的headers参数中
  • 自动处理
    • Session对象
    • Session对象的创建：requests.Session()
    • 对象的作用：
      • 可以跟requests一样调用get/post进行请求的发送。在使用session进行请求发送的过程中，如果产生cookie，则cookie会被自动存储到session对象中
    • 在爬虫中使用session处理cookie时，session对象至少需要被用几次？
      • 两次，第一次是为了捕获和存储cookie到session对象中，第二次就是用携带cookie的session进行请求发送，这次请求发送就是携带cookie发起的请求
最低0.47元/天 解锁文章
像风一样8
关注
专栏目录
python3爬虫(六)--requests的高级操作
北冥有鱼丶
06-09 524
文件上传 import requests url = "http://httpbin.org/post" files = {'files':open("alipay.png",'rb')} response = requests.post(url,files=files) print(response.text) 结果： 获取cookie import requests url = "http...
爬虫高端操作
weixin_47869312的博客
07-01 139
selenium+scrapy在问题提出之前，我先把爬虫需要学习的框架发上来让大家看一下，需要了解学习什么之后才是一个合格的爬虫工程师。 比如这一部分我们就需要去点击展开更多，然后继续获取多余的数据信息。那么我们如何解决这个问题呢？我们对简书进行爬取，首先导入库 然后我们让driver运行 因为这里我们会发现很多问题，反爬虫设计的十分恶心，他的class是动态变化的，且源码的结构也是会发生改变的，所以我们下面的定位各位大佬一定要好好的去看。 这里我们解把selenium爬取的过程讲解完了 那么我们如何把
Python中的requests库日常使用教程_requests库sleep，农民工看完都会了
最新发布
2401_84254567的博客
04-15 705
下方这份完整的软件测试视频教程已经整理上传完成，需要的朋友们可以自行领取**
Python requests 使用心得
weixin_30613727的博客
07-11 596
最近在用requests写一些项目，遇见了一些问题，百度了很多，有些都不太好使，最后看了下requestsAPI文档，才明白了很多，最后项目趋于稳定。看来学东西还是API文档比较权威啊~ 问题场景 项目需要通过一台主机搭上代理向目标服务器定时交换数据，主机上同时跑着比较占用资源的其他项目。 项目设计思路 因为主机上已经运行了比较占用线程内存资源的其他项目，所以计划本项目就应该在不能太占用资源，...
requests 常用的几个方法
Hai_peng_yu的博客
06-04 853
requests库的七个主要方法方法                                            解释 requests.request()                       构造一个请求，支持以下各种方法requests.get()                              获取Html的主要方法requests.head()         ...
爬虫：Requests高级用法
二十四桥明月夜
12-05 1578
了解了 requests 基本用法 ，如基本的 GET， POST 请求以及 Response 对象 本节巾，我们再来了解下 requests 些高级用法，如文件上传、 Cookies 设置 代理设置等 1、文件上传 requests 可以模拟提交一些数据， 假如有的网站需要上传文件，我们也可以用它来实现， 这非常简单 import requests files = { "files": open("favicon.ico","rb") } response = requests.pos
Python爬虫requests模块高级操作模拟登陆五
m0_64010473的博客
07-08 558
模拟登录： - 爬取基于某些用户的用户信息。需求：对人人网进行模拟登录。 - 点击登录按钮之后会发起一个post请求 - post请求中会携带登录之前录入的相关的登录信息（用户名，密码，验证码......） - 验证码：每次请求都会变化---模拟浏览器请求行为参数分析： email：用户名 password：密码 icode：验证码（通过云打码识别） 剩下的参数不需要分析......
python爬虫requests库入门基础
06-06
### Python爬虫requests库入门基础 #### Requests模块安装与简介 - **安装**: 使用Python的包管理工具pip来安装requests库。在命令行输入以下命令即可完成安装：`pip install requests`。 - **模块简介**: ...
Python3网络爬虫中的requests高级用法详解
09-19
本篇将深入探讨Requests的一些高级用法，包括文件上传、代理设置和Cookies操作。 1. **文件上传** 在某些场景下，我们需要向服务器上传文件，Requests库为此提供了简便的方法。以下是一个简单的文件上传示例： ``...
python sleep函数什么意思_python中sleep函数用法实例分析
weixin_39926678的博客
12-08 860
本文实例讲述了python中sleep函数用法。分享给大家供大家参考。具体如下：Python中的sleep用来暂停线程执行，单位为秒#-----------------------------------# Name: sleep.py# Author: Kevin Harris# Last Modified: 02/13/04# Description: This Pytho...
python爬虫解决验证码的思路及示例
12-31
如果直接从生成验证码的页面把验证码下载到本地后识别，再构造表单数据发送的话，会有一个验证码同步的问题，即请求了两次验证码，而识别出来的验证码并不是实际需要发送的验证码。有如下几种方法解决。 法1: 用session： mysession = requests.Session() login_url = 'http://xxx.com' checkcode_url='http://yyy.com' html = mysession.get(login_url,timeout=60*4) #....balabala解析操作.... checkcode = mysession.get(checkc
Jmeter BeanShell Samper 实现时间戳位移
Bruce小鬼
09-15 1407
Jmeter BeanShell Samper 实现时间戳位移 1.概述 在实际业务场景中某些业务需要对时间进行提前或延迟，这个时候可以在BeanShell Samper通过写java代码方式实现时间戳的提前或延迟功能。 2.实现方式 2.1.添加BeanShell Samper 2.2.BeanShell Samper写时间脚本 1. new Date().getTime():获取当前时间，单位是毫秒。 2. new Date().getTime()/1000 ：表示获取单位为秒的时间戳 3. v
python 时间sleep() 的方法
编程小栈
07-11 5968
使用的方法如下: import time time.sleep(seconds) time.sleep(2) # 延时两秒
python 延时sleep
热门推荐
happy的编程生活
10-28 3万+
可以使用python的time模块来实现类似于c中的sleep函数
Python request 普通请求的链接不断变成TIME-WAIT的问题
gniuk的专栏
10-12 5923
Table of Contents 1. 问题描述 2. 解决方法2.1. 修改后只会保留一个长连接太忙又太懒，很少写日志。问题描述import request from time import sleep while True: request.post(your_url, data={"a": 0}) sleep(2) shell> ss -ant | grep TIME-WAIT (s
https中的connection字段为close情况
qq_42536483的博客
06-03 5391
有的网站会在服务器运行一段时间后down掉，有很多原因可能造成这种现象：比如tomcat堆和非堆内存设置不足，程序没能释放内存空间造成内存溢出，或者某些进程一直运行没能释放，造成cup资源大量消耗。 但除了程序本身的原因，还有可能是客服端访问造成（当然这个客户端也包含如蜘蛛软件等搜索引擎），如果服务器和客户端建立的是长链接(可以用"netstat -a"命令查看网络访问信息)，这就需要对http响应头的connection做一定的设置。 介绍如下： 解释一下： 在http1.1中reques
python的requests.session()_python,requests_python requests session 实现模拟登录登录失败，无法获得需要内容，python,request...
weixin_39996739的博客
12-08 817
python requests session 实现模拟登录登录失败，无法获得需要内容需要模拟登录okcoin，遇到了一些问题，希望大家指点O>_有参考百度的登录方式，先获取了页面cookie才用post的，但还是没有成功，获取的仍然是登录前的页面，那要怎样才能实现okcoin的模拟登录？附上代码片段，恳请大家指教，不胜感激~~~~def __init__(self, loginName='...
python爬虫requests使用
09-15
对于使用requests库进行爬虫，以下是一些基本操作和高级用法的介绍： 基本操作： 1. 安装requests库：使用pip命令可以安装requests库，例如：`pip install requests`。 2. 导入requests库：在Python脚本中导入...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值