爬虫之requests模块

最新推荐文章于 2022-04-15 16:08:15 发布
最新推荐文章于 2022-04-15 16:08:15 发布
阅读量711 收藏 1
点赞数
分类专栏： 爬虫篇 文章标签： requests
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42517220/article/details/88959548
版权

发送请求

>>> import requests
>>> r = requests.get('https://api.github.com/events')
>>> r = requests.post('http://httpbin.org/post', data = {'key':'value'})
>>> r = requests.put('http://httpbin.org/put', data = {'key':'value'})
>>> r = requests.delete('http://httpbin.org/delete')
>>> r = requests.head('http://httpbin.org/get')
>>> r = requests.options('http://httpbin.org/get')

Cookies

（1）把cookie对象转化为字典

>>> import requests

>>> resp = requests.get('https://www.baidu.com')
>>>
>>> resp.cookies
>>> <RequestsCookieJar[Cookie(version=0, name='BDORZ', value='27315', port=None, port_specified=False, domain='.baidu.com', domain_specified=True, domain_initial_dot=True, path='/', path_specified=True, secure=False, expires=1554902739, discard=False, comment=None, comment_url=None, rest={}, rfc2109=False)]>
>>>
>>> requests.utils.dict_from_cookiejar(resp.cookies)
>>> {'BDORZ': '27315'}

（2）把字典数据转化为cookie对象

>>> requests.utils.cookiejar_from_dict({'BDORZ': '27315'})
>>> <RequestsCookieJar[Cookie(version=0, name='BDORZ', value='27315', port=None, port_specified=False, domain='', domain_specified=False, domain_initial_dot=False, path='/', path_specified=True, secure=False, expires=None, discard=True, comment=None, comment_url=None, rest={'HttpOnly': None}, rfc2109=False)]>

（3）会话保持session和cookie

  1. 使用session登录github

    import time

import requests
from lxml import etree


def login(session):
	headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 "
							 "(KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36"}

	response = session.get('https://github.com/login')
	# 将字符串解析为HTML文档
	html = etree.HTML(response.text)  # <Element html at 0x25818bb3188>
	# 从form表单中获取class属性包含js-signup-form-submit的对象下的input标签中name属性等于authenticity_token的标签的value值
	# token = html.xpath('//form[contains(@class, "js-signup-form-submit")]/input[@name="authenticity_token"]/@value')[0]
	authenticity_token = html.xpath('//input[@name="authenticity_token"]/@value')[0]
	# 时间戳加密字段
	timestamp_secret = html.xpath('//input[@name="timestamp_secret"]/@value')[0]

	data = {"commit": "Sign in", "authenticity_token": authenticity_token,
			"ga_id": 478120666.1560827698, "login": "用户名", "password": "密码",
			"webauthn-support": "supported", "webauthn-iuvpaa-support": "unsupported",
			"return_to": "", "required_field_0dce": "", "timestamp": int(round(time.time() * 1000)),
			"timestamp_secret": timestamp_secret}
	# 进行登录
	session.post('https://github.com/session', headers=headers, data=data, verify=False)


# 创建session对象
session = requests.session()
# 登录
login(session)

# 新建仓库
response = session.get('https://github.com/new')
print(response.content.decode())

    在这里插入图片描述

    • 如果未登录成功
      在这里插入图片描述

  2. 使用cookie保持会话，登录github

    • 第一步：首先在网页进行手动登录，然后复制请求的Cookie
      在这里插入图片描述

    • 第二步：处理该cookie，将其转换为字典

      cookie_info = "_octo=GH1.1.188482370.1594811107; _device_id=83a88394ca8a515c4dcdf255b5aa87e4; has_recent_activity=1; _ga=GA1.2.635994109.1594811111; _gat=1; tz=Asia%2FShanghai; user_session=Hz6PM7kRVb12HSRLotw08y8wpIwKHW5ko42xitHRvnC2B24u; __Host-user_session_same_site=Hz6PM7kRVb12HSRLotw08y8wpIwKHW5ko42xitHRvnC2B24u; logged_in=yes; dotcom_user=FatPuffer; _gh_sess=5Npl3X%2F6WwxmyNwrbP2zfnER1CQqjDmQM8eDzB7XrQ3xd%2BcI6Jl0xFKhOAT1yhaKlDsguuFRMae5aiHTIHVxVfwh%2B2lm6rLcs13XlKvLZFFjIRv3u3zNeLQEXoqi7r7TS04vnuouIWl5LreI9FdZZDJ3dVzl1GhWzFLLhbjblKCRMFgllyNrRzYzGDMw8Om6%2BKXT6GgJ1Ey3IISigdPjkaXL%2FdXQS%2B4t5Y7bnNWgQndrmB076pI2DLgNIhBPws5hlfXWKB9aftV987urJ1ANprM7At9Cb0mEczSoj3P8%2FGT5GdFWZ3kfIPU5M%2BtYVuXLzE%2B9%2FHpu7kCMbna%2FZqtxqax7sRd8o4ad5ysQGvw7%2F2MrNKSYl3i%2FkhUB5s7g6X0tlChVFyiazDYIgugz2es1L756zWzCZhN2sQcmzAoDaXN34UHUkm3WkRbFDds49H5EMFXktbKm3rdKBZ1az80RWumpxX%2Blx7H8HjMaVSxI8wddfwA%2BrLQMmxGo9U8UDRFi2qIIY8d70rB48T0UztUGPo%2FZ2QY2ErLpfA5bVTSjGnFfp4%2BpfzLhyfkoj%2FUVAioMJUCO4HFu2fn0n%2F2CRdSlvxYwNvkA951zj4XTb%2BfyMwAvXf9oba5ZOWshKPORNt4URrK6kTnCYlBVJ9sLPdPw9bXD9oxnVyH1VJiplFIR8hxRbZvl3tYExL8xAilUDwAZ2LlO5gsaaT6420f7g6sfqiAU%2Fu96iIjaW5HnKxq0GDklwOJeX3Ez96zej7M2wciXzv2I0AoLFNDJiDTTUX83l9GM8up1Q495C9Bzrx62kQ7nr9zGOv01leIvkRJ72Q%2Fiep%2FENmII%2BlBlSMWS9PwZAblz3kDxfqm2u%2B1BBj6kpQi3gG7Bt2iuatoH%2FHw%2BnBW7c99aS2ICmqMlI99YZsA3mCaPRlqii9YkPjW%2FpuT7Te%2BlL9%2F7AqTi5juHvG8qN%2FcTutcf%2FKtyiZyEtmcQNY1GiosO9ISTKv%2Fv06eBUopiLuItjAma--owiBDgtCOM1KCNly--4GNadol7pRMjGXL6fykyDA%3D%3D"

cookie_list = cookie_info.split("; ")
cookies = {cookie.split("=")[0]: cookie.split("=")[1] for cookie in cookie_list}

"""
{'__Host-user_session_same_site': 'Hz6PM7kRVb12HSRLotw08y8wpIwKHW5ko42xitHRvnC2B24u',
 '_device_id': '83a88394ca8a515c4dcdf255b5aa87e4',
 '_ga': 'GA1.2.635994109.1594811111',
 '_gat': '1',
 '_gh_sess': '5Npl3X%2F6WwxmyNwrbP2zfnER1CQqjDmQM8eDzB7XrQ3xd%2BcI6Jl0xFKhOAT1yhaKlDsguuFRMae5aiHTIHVxVfwh%2B2lm6rLcs13XlKvLZFFjIRv3u3zNeLQEXoqi7r7TS04vnuouIWl5LreI9FdZZDJ3dVzl1GhWzFLLhbjblKCRMFgllyNrRzYzGDMw8Om6%2BKXT6GgJ1Ey3IISigdPjkaXL%2FdXQS%2B4t5Y7bnNWgQndrmB076pI2DLgNIhBPws5hlfXWKB9aftV987urJ1ANprM7At9Cb0mEczSoj3P8%2FGT5GdFWZ3kfIPU5M%2BtYVuXLzE%2B9%2FHpu7kCMbna%2FZqtxqax7sRd8o4ad5ysQGvw7%2F2MrNKSYl3i%2FkhUB5s7g6X0tlChVFyiazDYIgugz2es1L756zWzCZhN2sQcmzAoDaXN34UHUkm3WkRbFDds49H5EMFXktbKm3rdKBZ1az80RWumpxX%2Blx7H8HjMaVSxI8wddfwA%2BrLQMmxGo9U8UDRFi2qIIY8d70rB48T0UztUGPo%2FZ2QY2ErLpfA5bVTSjGnFfp4%2BpfzLhyfkoj%2FUVAioMJUCO4HFu2fn0n%2F2CRdSlvxYwNvkA951zj4XTb%2BfyMwAvXf9oba5ZOWshKPORNt4URrK6kTnCYlBVJ9sLPdPw9bXD9oxnVyH1VJiplFIR8hxRbZvl3tYExL8xAilUDwAZ2LlO5gsaaT6420f7g6sfqiAU%2Fu96iIjaW5HnKxq0GDklwOJeX3Ez96zej7M2wciXzv2I0AoLFNDJiDTTUX83l9GM8up1Q495C9Bzrx62kQ7nr9zGOv01leIvkRJ72Q%2Fiep%2FENmII%2BlBlSMWS9PwZAblz3kDxfqm2u%2B1BBj6kpQi3gG7Bt2iuatoH%2FHw%2BnBW7c99aS2ICmqMlI99YZsA3mCaPRlqii9YkPjW%2FpuT7Te%2BlL9%2F7AqTi5juHvG8qN%2FcTutcf%2FKtyiZyEtmcQNY1GiosO9ISTKv%2Fv06eBUopiLuItjAma--owiBDgtCOM1KCNly--4GNadol7pRMjGXL6fykyDA%3D%3D',
 '_octo': 'GH1.1.188482370.1594811107',
 'dotcom_user': 'FatPuffer',
 'has_recent_activity': '1',
 'logged_in': 'yes',
 'tz': 'Asia%2FShanghai',
 'user_session': 'Hz6PM7kRVb12HSRLotw08y8wpIwKHW5ko42xitHRvnC2B24u'}
"""

    • 第三步：给请求带上此cookie即可登录

      import requests

resp = requests.get("https://github.com/new", cookies=cookies)
print(resp.content.decode())

      在这里插入图片描述
      说明我们使用该cookies跳过了登录验证，但此方法存在不足，就是cookies会话有时效性，在一段时间后会失效，所以在生产环境中不会使用该方法。

传递 URL 参数

>>> payload = {"wd": "python"}
>>> headers={"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3573.0 Safari/537.36"}
>>> r = requests.get("https://www.baidu.com/s", params=payload, headers=headers)

通过打印输出该 URL，你能看到 URL 已被正确编码

>>> print(r.url)
'https://www.baidu.com/s?wd=python'

你还可以将一个列表作为值传入：

>>> payload = {'key1': 'value1', 'key2': ['value2', 'value3']}

>>> r = requests.get('http://httpbin.org/get', params=payload)
>>> print(r.url)
http://httpbin.org/get?key1=value1&key2=value2&key2=value3

Response响应内容

>>> import requests
>>> r = requests.get('https://api.github.com/events')
>>> r.text
u'[{"repository":{"open_issues":0,"url":"https://github.com/...

Requests 会自动解码来自服务器的内容。大多数 unicode 字符集都能被无缝地解码。

请求发出后，Requests 会基于 HTTP 头部对响应的编码作出有根据的推测。当你访问 r.text 之时，Requests 会使用其推测的文本编码。你可以找出 Requests 使用了什么编码，并且能够使用 r.encoding 属性来改变它：

>>> r.encoding
'utf-8'
>>> r.encoding = 'ISO-8859-1'

如果你改变了编码，每当你访问 r.text ，Request 都将会使用 r.encoding 的新值。你可能希望在使用特殊逻辑计算出文本的编码的情况下来修改编码。比如 HTTP 和 XML 自身可以指定编码。这样的话，你应该使用 r.content 来找到编码，然后设置 r.encoding 为相应的编码。这样就能使用正确的编码解析 r.text 了

response.text和response.content的区别

（1） response.text

  • 类型：str
  • 解码类型：根据HTTP头部对响应的编码作出有根据的推测，推测文本编码
  • 修改编码类型：response.encoding=‘gbk’

（2）response.content

  • 类型：bytes
  • 解码类型：没有指定
  • 修改编码方式：response.content.decode()

（3）更推荐使用response.content.decode()方式来获取响应的html页面

JSON 响应内容

Response 中也有一个内置的 JSON 解码器，助你处理 JSON 数据

>>> import requests

>>> r = requests.get('https://api.github.com/events')
>>> r.json()
[{u'repository': {u'open_issues': 0, u'url': 'https://github.com/...

需要注意的是，成功调用 r.json() 并不意味着响应的成功。有的服务器会在失败的响应中包含一个 JSON 对象（比如 HTTP 500 的错误细节）。这种 JSON 会被解码返回。要检查请求是否成功，请使用 r.raise_for_status() 或者检查 r.status_code 是否和你的期望相同。

定制请求头headers

如果你想为请求添加 HTTP 头部，只要简单地传递一个 dict 给 headers 参数就可以了。

例如，在前一个示例中我们没有指定 content-type:

>>> url = 'https://api.github.com/some/endpoint'
>>> headers = {'user-agent': 'my-app/0.0.1'}

>>> r = requests.get(url, headers=headers)

如果被重定向到别的主机，授权 header 就会被删除。

更加复杂的 POST 请求data

通常，你想要发送一些编码为表单形式的数据——非常像一个 HTML 表单。要实现这个，只需简单地传递一个字典给 data 参数。你的数据字典在发出请求时会自动编码为表单形式：

>>> payload = {'key1': 'value1', 'key2': 'value2'}

>>> r = requests.post("http://httpbin.org/post", data=payload)
>>> print(r.text)
{
  ...
  "form": {
    "key2": "value2",
    "key1": "value1"
  },
  ...
}

你还可以为 data 参数传入一个元组列表。在表单中多个元素使用同一 key 的时候，这种方式尤其有效：

>>> payload = (('key1', 'value1'), ('key1', 'value2'))
>>> r = requests.post('http://httpbin.org/post', data=payload)
>>> print(r.text)
{
  ...
  "form": {
    "key1": [
      "value1",
      "value2"
    ]
  },
  ...
}

代理（proxies参数）

import requests

# 根据协议类型，选择不同的代理
proxies = {
  "http": "http://12.34.56.79:9527",
  "https": "http://12.34.56.79:9527",
}

response = requests.get("http://www.baidu.com", proxies = proxies)
print response.text

也可以通过本地环境变量 HTTP_PROXY 和 HTTPS_PROXY 来配置代理：

export HTTP_PROXY="http://12.34.56.79:9527"
export HTTPS_PROXY="https://12.34.56.79:9527"

私密代理验证（特定格式） 和 Web客户端验证（auth 参数）

（1）私密代理

import requests

# 如果代理需要使用HTTP Basic Auth，可以使用下面这种格式：
proxy = { "http": "mr_mao_hacker:sffqry9r@61.158.163.130:16816" }

response = requests.get("http://www.baidu.com", proxies = proxy)

print response.text

（2）web客户端验证

import requests

auth=('test', '123456')

response = requests.get('http://192.168.199.107', auth = auth)

print response.text

SESSION

  • 在 requests 里，session对象是一个非常常用的对象，这个对象代表一次用户会话：从客户端浏览器连接服务器开始，到客户端浏览器与服务器断开。
  • 会话能让我们在跨请求时候保持某些参数，比如在同一个 Session 实例发出的所有请求之间保持 cookie 。
import requests

# 1. 创建session对象，可以保存Cookie值
ssion = requests.session()

# 2. 处理 headers
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}

# 3. 需要登录的用户名和密码
data = {"email":"mr_mao_hacker@163.com", "password":"alarmchime"}  

# 4. 发送附带用户名和密码的请求，并获取登录后的Cookie值，保存在ssion里
ssion.post("http://www.renren.com/PLogin.do", data = data)

# 5. ssion包含用户登录后的Cookie值，可以直接访问那些登录后才可以访问的页面
response = ssion.get("http://www.renren.com/410043129/profile")

# 6. 打印响应内容
print response.text

处理HTTPS请求 SSL证书验证

import requests
r = requests.get("https://www.12306.cn/mormhweb/", verify = False)

POST一个多部分编码(Multipart-Encoded)的文件

Requests 使得上传多部分编码文件变得很简单：

>>> url = 'http://httpbin.org/post'
>>> files = {'file': open('report.xls', 'rb')}

>>> r = requests.post(url, files=files)
>>> r.text
{
  ...
  "files": {
    "file": "<censored...binary...data>"
  },
  ...
}

响应状态码

我们可以检测响应状态码：

>>> r = requests.get('http://httpbin.org/get')
>>> r.status_code
200

为方便引用，Requests还附带了一个内置的状态码查询对象：

>>> r.status_code == requests.codes.ok
True

如果发送了一个错误请求(一个 4XX 客户端错误，或者 5XX 服务器错误响应)，我们可以通过 Response.raise_for_status() 来抛出异常：

>>> bad_r = requests.get('http://httpbin.org/status/404')
>>> bad_r.status_code
404

>>> bad_r.raise_for_status()
Traceback (most recent call last):
  File "requests/models.py", line 832, in raise_for_status
    raise http_error
requests.exceptions.HTTPError: 404 Client Error

但是，由于我们的例子中 r 的 status_code 是 200 ，当我们调用 raise_for_status() 时，得到的是

>>> r.raise_for_status()
None

响应头

我们可以查看以一个 Python 字典形式展示的服务器响应头

>>> r.headers
{
    'content-encoding': 'gzip',
    'transfer-encoding': 'chunked',
    'connection': 'close',
    'server': 'nginx/1.0.4',
    'x-runtime': '148ms',
    'etag': '"e1ca502697e5c9317743dc078f67693f"',
    'content-type': 'application/json'
}

但是这个字典比较特殊：它是仅为 HTTP 头部而生的。根据 RFC 2616， HTTP 头部是大小写不敏感的。

因此，我们可以使用任意大写形式来访问这些响应头字段：

>>> r.headers['Content-Type']
'application/json'

>>> r.headers.get('content-type')
'application/json'

超时timeout

你可以告诉 requests 在经过以 timeout 参数设定的秒数时间之后停止等待响应。基本上所有的生产代码都应该使用这一参数。如果不使用，你的程序可能会永远失去响应

>>> requests.get('http://github.com', timeout=0.001)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
requests.exceptions.Timeout: HTTPConnectionPool(host='github.com', port=80): Request timed out. (timeout=0.001)

错误与异常

遇到网络问题（如：DNS 查询失败、拒绝连接等）时，Requests 会抛出一个 ConnectionError 异常。

如果 HTTP 请求返回了不成功的状态码， Response.raise_for_status() 会抛出一个 HTTPError 异常。

若请求超时，则抛出一个 Timeout 异常。

若请求超过了设定的最大重定向次数，则会抛出一个 TooManyRedirects 异常。

所有Requests显式抛出的异常都继承自 requests.exceptions.RequestException 。

requests官方文档

FatPuffer
关注
专栏目录
Python爬虫：requests模块介绍
Hello大家好，我是Dream，如果帮得到你，那我深感荣幸！交流学习、商务合作：https://bbs.csdn.net/topics/614347534
07-16 4万+
response.cookies是CookieJar类型使用requests.utils.dict_from_cookiejar，能够实现把cookiejar对象转化为字典。
第10次博文：一招方法教你解决import requests 导入报错（出错）问题，秒解决！
weixin_49492286的博客
07-17 1万+
1：主要情况说明在于自己在IDLE中，导入import requests报错，出现 name "requests" 没有建立情况； 解决方法：自己安装一个pychrm。pychrm是学习python中，必有的软件； 步骤； 1：打开Pychrm，进入主界面————找到设置————项目————选择 python解释器————选择你自己下载python时候的python解释器（如下图1）————选择完后python解释器，点击 ‘ + ’中，在可用包中，输入requests—————点击安装...
企业API接口设计之token、timestamp、sign具体实现
渣渣想逆袭
03-09 878
一：token 简介 Token：访问令牌access token, 用于接口中, 用于标识接口调用者的身份、凭证，减少用户名和密码的传输次数。一般情况下客户端(接口调用方)需要先向服务器端申请一个接口调用的账号，服务器会给出一个appId和一个key, key用于参数签名使用，注意key保存到客户端，需要做一些安全处理，防止泄露。 Token的值一般是UUID，服务端生成Token后需要将t...
爬虫-有道翻译
一岁一骷髅的博客
09-24 148
import requests,time,hashlib def getMd5(value): md5 = hashlib.md5() md5.update(value.encode()) return md5.hexdigest() def request_html(url,word): salt_p = time.time() salt = str(...
python菜鸟心路历程（一）
neolz的博客
01-21 279
前言 为啥要学Python呢?是因为看了好多爬xx条数据分析xx，看的我心潮澎湃，而且工作上没有任何的技术相关任务，都是写PPT写材料，感觉自己越来越废 - - 文章写给自己，督促自己学习。 好多自己踩的坑都忘了 = = 再踩再补吧 Python的安装 第一次用的python3.7+pycharm的组合，后来重装系统后直接换成anaconda省时省力，不过出现过导入的包不好用的问题，忘了怎么解决的...
python多线程2
enginebrkalsy的博客
05-31 169
查看线程数量——enumerate（） 通常用index代表索引 enumerate（）在threading线程库的作用——threading.enumerate() 加入time.sleep（）观察 import threading # threading.enumerate() def demo1(): for i in range(5): print('我是demo1---%s' % i) time.sleep(1) def demo2():
python 爬虫之requests模块设置代理
xdc1812547560的博客
08-19 7207
文章目录为什么设置代理？设置代理常用获取代理IP地址测试IP地址可用性 为什么设置代理？ 我们都知道上网连接到互联网时会有一个【ip】地址。 而网站都有请求的临界点，当我们对一个网站发起多次请求时，网站发现请求次数超过了临界点，就会自动屏蔽掉我们的【ip】，这时就再也无法访问此网站了。 这就是基础的一种反爬技术 对于这种情况，解决方案也其实很简单：只需在请求时通过设置代理【ip】的方式，就可以解决啦。 在【requests】请求时，可以非常便捷的替换发给服务端的【ip】地址，这样网站面对多个不同的【ip】地
python爬虫 基于requests模块的get请求实现详解
09-18
Python爬虫技术是数据获取的重要手段，特别是在网络信息丰富的今天，爬虫可以帮助我们自动化地抓取...总的来说，requests模块是Python爬虫开发者必备的工具之一，它以其简洁的API和强大的功能，深受广大开发者喜爱。
python爬虫 基于requests模块发起ajax的get请求实现解析
09-18
Python爬虫之所以受欢迎，是因为它有着强大的库支持，例如requests模块、BeautifulSoup库、Scrapy框架等，它们提供了简单易用的API接口，能够方便地处理网络请求和HTML文档解析。 ### requests模块简介 requests...
python的request库时间戳 uuid4
m0_46471328的博客
02-26 870
requests是python实现的最简单易用的HTTP库 ，大多数时候爬虫使用requests库 import requests import json # requests.get() # requests.post() # requests库常见二种请求 post get res = requests.get(" http://www.baidu.com") print(res) # <Response [200]> print(type(res))
php 多进程 爬虫,网页爬虫 - python的多进程怎么配合requests
weixin_28931735的博客
04-13 100
这是单进程顺序执行的代码：import requests,time,os,randomdef img_down(url):with open("{}".format(str(random.random())+os.path.basename(url)),"wb") as fob:fob.write(requests.get(url).content)urllist=[]with open("url...
Python：requests：详解超时和重连
weixin_33736649的博客
04-11 1779
网络请求不可避免会遇上请求超时的情况，在 requests 中，如果不设置你的程序可能会永远失去响应。 超时又可分为连接超时和读取超时。 连接超时 连接超时 指的是在你的客户端实现到远端机器端口的连接时（对应的是connect()），Request 等待的秒数。 import time import requests url = 'http://www.google.com.hk' print...
python requests timeout详解
craftsman2020的博客
04-15 1万+
- 连接超时: 指的是客户端实现到远端机器端口的连接时，等待的秒数 - 读取超时：指的是客户端等待服务器发送请求的时间。（特定地，它指的是客户端要等待服务器发送字节之间的时间。在 99.9% 的情况下这指的是服务器发送第一个字节之前的时间） 读取超时是没有默认值的，如果不设置，程序将一直处于等待状态。
Python-第三方库requests详解
weixin_33671935的博客
12-16 8428
Requests 是用Python语言编写，基于 urllib，采用 Apache2 Licensed 开源协议的 HTTP 库。它比 urllib 更加方便，可以节约我们大量的工作，完全满足 HTTP 测试需求。Requests 的哲学是以 PEP 20 的习语为中心开发的，所以它比 urllib 更加 Pythoner。更重要的一点是它支持 Python3 哦！ Beautiful is...
python import time是什么意思_python:importlib.import_module（“time”），但时间不是全局定义的...
weixin_26976635的博客
01-28 1532
为了给我的程序(在Python2.7中)添加一个可用模块的检查，我添加了以下代码来代替经典的导入(其目的是帮助某人找到并添加额外的模块)：mymodules = ['socket', 'requests', 'simplejson', 'pickle', 'IPy','pygeoip', 'urllib', 'time', 'urllib2', 'StringIO', 'gzip', 'os']i...
CSS4 -- @font-face
热门推荐
weixin_34266504的博客
02-14 8万+
@font-face { font-family: 'ZCOOL Addict Italic 01'; src: url(data:font/truetype;charset=utf-8;base64,AAEAAAAPAIAAAwBwRkZUTUyorHQAAL7oAAAAHEdERUYAKAD7AAC+yAAAAB5PUy8ycZlb8QAAAXgAAABgY21hcKA...
Python爬虫进阶：requests模块深度解析
"requests模块的使用方法" 在Python爬虫领域，`requests`模块是一个不可或缺的工具，它使得发送HTTP请求变得简单易行。本教程将详细介绍`requests`模块的多种功能，包括设置请求头、携带参数、处理Cookie、设置超时...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值