python——爬虫学习——requests库的使用-(1)

最新推荐文章于 2022-10-22 10:37:53 发布
最新推荐文章于 2022-10-22 10:37:53 发布
阅读量1.2k 收藏 2
点赞数
分类专栏： python 文章标签： python 库 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Zach_z/article/details/69258244
版权

requests库的入门

1.发送请求

导入Requests

>>> import requests

HTTP的请求类型：

1.GET：它本质就是发送一个请求来取得服务器上的某一资源。资源通过一组HTTP头和呈现数据（如HTML文本，或者图片或者视频等）返回给客户端。GET请求中，永远不会包含呈现数据。

2.POST：向URL指定的资源提交数据或附加新的数据。

3.PUT：通常用于向服务器发送请求，如果URI不存在，则要求服务器根据请求创建资源，如果存在，服务器就接受请求内容，并修改URI资源的原始版本。

4.HEAD:只请求页面首部。

5.DELETE：删除服务器上的某资源。

6.OPTIONS: 用于获取当前URL所支持的方法。如果请求成功，会有一个Allow的头包含类似“GET,POST”这样的信息。

发送请求：

>>> r= requests.get("http://httpbin.org/get")
>>> r = requests.post("http://httpbin.org/post")
>>> r = requests.put("http://httpbin.org/put")
>>> r = requests.delete("http://httpbin.org/delete")
>>> r = requests.head("http://httpbin.org/get")
>>> r = requests.options("http://httpbin.org/get")

传递参数

参数说明
params字典或字节序列，作为参数增加到url中
data字典、字节序列或文件对象，作为Request的内容
jsonJSON格式的数据，作为Request的内容
headers字典，HTTP定制头
cookies字典或CookieJar，Request中的cookie
auth元组，支持HTTP认证功能
files字典类型，传输文件
timeout设定超时时间，秒为单位
proxies字典类型，设定访问代理服务器，可以增加登录认证
allow_redirectsTrue/False，默认为True，重定向开关
streamTrue/False，默认为True，获取内容立即下载开关
verifyTrue/False，默认为True，认证SSL证书开关
cert本地SSL证书路径
传递url参数

使用params关键字参数，以一个字典提供参数。

>>> payload = {'key1': 'value1', 'key2': 'value2'}
>>> r = requests.get("http://httpbin.org/get", params=payload)
>>> print(r.url)
http://httpbin.org/get?key2=value2&key1=value1

字典里值为 None 的键都不会被添加到 URL 的查询字符串里；还可以将一个列表作为值传入：

>>> payload={'admin':'test','key':None,'password':['123456','zxcvbn',None]}
>>> r= requests.post("http://httpbin.org/post",params=payload)
>>> print(r.url)
http://httpbin.org/post?admin=test&password=123456&password=zxcvbn
定制请求头

使用headers作为参数，以一个字典提供参数

>>> url='http://www.baidu.com'
>>> headers={'user-agent':"Mozilla/5.0 (Windows NT 6.3; WOW64; rv:52.0) Gecko/20100101 Firefox/52.0"
}
>>> r=requests.get(url,headers=headers)
>>> r.text
超时

在经过以 timeout 参数设定的秒数时间之后停止等待响应

>>> requests.get("http://www.baidu.com",timeout=0.001)
Traceback (most recent call last):
  ...
requests.exceptions.ConnectTimeout: HTTPConnectionPool(host='www.baidu.com', port=80): Max retries e
xceeded with url: / (Caused by ConnectTimeoutError(<requests.packages.urllib3.connection.HTTPConnect
ion object at 0x02F66A10>, 'Connection to www.baidu.com timed out. (connect timeout=0.001)'))
发送cookies

使用cookies参数

>>> url = 'http://httpbin.org/cookies'
>>> cookies = dict(cookies_are='test')
>>> r = requests.get(url, cookies=cookies)
>>> r.text
'{"cookies": {"cookies_are": "test"}}'
使用data作为参数，以一个字典提供参数
>>> payload={'admin':'test','password':'123456','yanzhengma':None}
>>> r=requests.post("http://httpbin.org/post",data=payload)
>>> print(r.text)
{
  "args": {},
  "data": "",
  "files": {},
  "form": {
    "admin": "test",
    "password": "123456"
  },
  ...
}

requests.get()

requests.get(url, params=None, **kwargs)

url : 拟获取页面的url链接

params : url中的额外参数，字典或字节流格式，可选

**kwargs: 12个控制访问的参数

requests.post()

requests.post(url, data=None, json=None, **kwargs)

url : 拟更新页面的url链接

data : 字典、字节序列或文件，Request的内容

json : JSON格式的数据，Request的内容

**kwargs: 12个控制访问的参数

requests.delete()

requests.delete(url, **kwargs)

url : 拟删除页面的url链接

**kwargs: 12个控制访问的参数

requests.request()

requests.request(method, url, **kwargs)

method : 请求方式，对应get/put/post等7种(比如 requests.request(‘GET’)

url : 拟获取页面的url链接

**kwargs: 控制访问的参数，共13个

2.响应内容

属性说明
r.status_code请求的返回状态，200表示连接成功，404表示失败
r.textHTTP响应内容的字符串形式，即，url对应的页面内容
r.encoding从HTTP header中猜测的响应内容编码方式(如果header中不存在charset，则认为编码为ISO‐8859‐1
r.text根据r.encoding显示网页内容)
r.apparent_encoding从内容中分析出的响应内容编码方式（备选编码方式）
r.contentHTTP响应内容的二进制形式
>>> r=requests.get("http://www.baidu.com")
>>> r.status_code
200
>>> r.encoding
'ISO-8859-1'
>>> r.text
u'<!DOCTYPE html>\r\n<!--STATUS OK--><html>...
>>> r.apparent_encoding
'utf-8'
>>> r.encoding='utf-8'
>>> r.encoding
'utf-8'
>>> r.text
u'<!DOCTYPE html>\r\n<!--STATUS OK--><html>...

快速访问响应cookie

>>> url = 'http://example.com/some/cookie/setting/url'
>>> r = requests.get(url)
>>> r.cookies['example_cookie_name']
'example_cookie_value'

错误与异常

遇到网络问题（如：DNS 查询失败、拒绝连接等）时，Requests 会抛出一个 ConnectionError 异常。

如果 HTTP 请求返回了不成功的状态码， Response.raise_for_status() 会抛出一个 HTTPError 异常。

若请求超时，则抛出一个 Timeout 异常。

若请求超过了设定的最大重定向次数，则会抛出一个 TooManyRedirects 异常。

所有Requests显式抛出的异常都继承自 requests.exceptions.RequestException。

参考文档

Requests: 让 HTTP 服务人类

Zach_z
关注
专栏目录
爬虫必备：手把手教您在群晖中搭建一个免费的爬虫代理池
XiaoqiangClub的博客
07-18 1089
爬虫必备：手把手教您在群晖中大家一个免费的代理池
Python爬虫学习日志——day2（requests）
Kyrieki11的博客
05-30 703
requests python 爬虫 网络爬虫
Python爬虫之（六）requests库的用法
SunnyRivers
01-11 361
介绍 对了解一些爬虫的基本理念，掌握爬虫爬取的流程有所帮助。入门之后，我们就需要学习一些更加高级的内容和工具来方便我们的爬取。那么这一节来简单介绍一下 requests 库的基本用法 安装 pip install requests 基本请求 req = requests.get("http://www.baidu.com") req = requests.post("http://www.bai...
python requests示例_Python Requests库基本用法示例
weixin_33280038的博客
02-09 256
本文实例讲述了Python Requests库基本用法。分享给大家供大家参考，具体如下：requests是python的一个http client库，提供了一套简捷的API供开发者使用。下面简单介绍一下其安装和使用。这里是官方文档。0 安装pip install requests1 发送请求r=requests.get('https://www.baidu.com')print r.status_...
python爬虫——request模块讲解
热门推荐
记录并分享学习安全的知识点..
03-07 1万+
一、概述 在后期渗透测试中，经常会遇到需要向第三方发送http请求的场景，python中的requests库可以很好的满足这一要求，Requests模块是一个用于网络请求的模块，主要用来模拟浏览器发请求。其实类似的模块有很多，比如urllib，urllib2，httplib，httplib2，他们基本都提供相似的功能。但是这些模块都复杂而且差不多过时了，requests模块简单强大高效，使得其在众多网络请求模块中脱引而出。 二、安装和基本步骤使用 环境安装：pip install requests 基
python requests 超时 卡住没反应 解决方法
whatday的专栏
08-16 8671
并不是整个下载响应的时间限制，而是如果服务器在 timeout 秒内没有应答，将会引发一个异常（更精确地说，是在 timeout 秒内没有从基础套接字上接收到任何字节的数据时）简单的说，连接超时就是发起请求连接到连接建立之间的最大时长，读取超时就是连接成功开始到服务器返回响应之间等待的最大时长。连接超时指的是在你的客户端实现到远端机器端口的连接时（对应的是 connect() ），Request 等待的秒数。就算不设置，也会有一个默认的连接超时时间（我测试了下，大概是21秒）。（但是代码好像变多了…...
python（request）常见错误记录
qq_40296570的博客
09-18 2418
连接超时requests.exceptions.ConnectTimeout 抛出错误 requests.exceptions.ConnectTimeout: HTTPConnectionPool(host=‘github.com’, port=80): Max retries exceeded with url: / (Caused by ConnectTimeoutError(<urllib3.connection.HTTPConnection object at 0x7f1b16da75f8.
python学习——爬虫requests库入门学习
09-26
为学习爬虫requests库的同学们，留下的尝试代码。方便大家学习与尝试。
Python爬虫入门——Requests库
12-23
1. requests 库的几个主要方法 方法 说明 requests.request（） 构造一个网页请求，支撑以下各方法的基础方法 requests.get（） 获取HTML网页的主要方法，对应于HTTP的GET requests.head（） 获取HTML...
Python网络爬虫与信息提取 嵩天-Requests库入门01
08-21
### Python网络爬虫与信息提取 —— Requests库入门 #### 一、引言 随着互联网技术的迅猛发展，网络上产生了海量的信息资源。对于开发者来说，如何高效地抓取这些资源变得尤为重要。Python作为一种功能强大且易用的...
python爬虫入门——requests库、BeautifulSoup库和re库
最新发布
GuFeng1999的博客
10-22 1717
对于大多数网页，如果它们的页面是由html代码静态生成的，那么我们可以通过访问网页的源代码，即网页对应的html文档内容，从文档中解析出我们想要的内容，然后将其摘录下来，存储在一定的数据结构中
Python：requests：详解超时和重试
weixin_30532973的博客
12-17 2869
网络请求不可避免会遇上请求超时的情况，在 requests 中，如果不设置你的程序可能会永远失去响应。超时又可分为连接超时和读取超时。 连接超时 连接超时指的是在你的客户端实现到远端机器端口的连接时（对应的是connect()），Request 等待的秒数。 importtimeimportrequestsurl='http://www.google.com.hk'print(t...
python3使用requests时报错requests.exceptions.SSLError: HTTPSConnectionPool
EmotionComputer
11-10 7880
报错信息如下： requests.exceptions.SSLError: HTTPSConnectionPool(host='www.baidu.com', port=443): Max retries exceeded with url: / (Caused by SSLError(SSLError(1, u'[SSL: CERTIFICATE_VERIFY_FAILED] certifica...
python request timeout_详解Python requests 超时和重试的方法-转载
weixin_39865204的博客
11-23 2678
转自：https://blog.csdn.net/weixin_39198406/article/details/81482082网络请求不可避免会遇上请求超时的情况，在 requests 中，如果不设置你的程序可能会永远失去响应。超时又可分为连接超时和读取超时。连接超时连接超时指的是在你的客户端实现到远端机器端口的连接时（对应的是 connect() ），Request 等待的秒数。123456...
【python】HTTP压力测试过程中遇到的问题与解决方案
安安爸Chris的专栏
08-18 1891
记录一下测试过程中遇到的问题。
python request 请求超时处理_python接口自动化20-requests获取响应时间(elapsed)与超时（timeout）...
weixin_39963744的博客
12-03 1327
前言requests发请求时，接口的响应时间，也是我们需要关注的一个点，如果响应时间太长，也是不合理的。如果服务端没及时响应，也不能一直等着，可以设置一个timeout超时的时间关于requests请求的响应时间，官网上没太多介绍，并且我百度搜了下，看很多资料写的是r.elapsed.microseconds获取的，然而都是错的！！！elapsed官方文档requests.Responseelap...
payload 是什么意思
weixin_33924220的博客
10-08 3077
为什么80%的码农都做不了架构师？>>> ...
Python网络爬虫：Requests库与K-means聚类扩展
本课程专注于教授如何使用Python进行有效的网络爬虫开发，涵盖了从基础到进阶的多个方面。课程强调通过实践来学习，包括8个内容单元和4个实例单元，总计12个单元，学员可以在4周内完成学习，其中前3周为必修，第4周...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值