目录
##2.代理设置
##3.超时设置
##4.身份认证
##5.总结
##SSL验证
import requests
response = requests.get('https://www.12306.cn/index/')
print(response.status_code)
返回200,证明正常
如果有报错SSLError,表示证书验证错误,把 verify 参数设置为 False
import requests
response = requests.get('https://www.12306.cn', verify=False)
print(response.status_code)
有个警告,可以通过设置忽略警告的方式来屏蔽这个警告
#添加证书,并设置忽略警告
import requests
from requests.packages import urllib3
urllib3.disable_warnings()
response = requests.get('https://www.12306.cn', verify=False)
print(response.status_code)
或者通过捕获警告到日志的方式忽略警告
import logging
import requests
logging.captureWarnings(True)
response = requests.get('https://www.12306.cn', verify=False)
print(response.status_code)
##代理设置
(因为我这个没有代理,所以只能是了解,没法实践了)
需求:对于大规模且频繁的请求,网站可能会弹出验证码,或者跳转到登录认证页面,更甚者可能会直接封禁客户端的 IP,导致一定时间段内无法访问。
那么,为了防止这种情况发生,我们需要设置代理来解决这个问题
#proxies 参数
import requests
proxies = {
'http': 'http://10.10.1.10:3128',
'https': 'http://10.10.1.10:1080',
}
requests.get('https://www.taobao.com', proxies=proxies)
若代理需要使用 HTTP Basic Auth
import requests
proxies = {'https': 'http://user:password@10.10.1.10:3128/',}
requests.get('https://www.taobao.com', proxies=proxies)
requests 还支持 SOCKS 协议的代理(socks协议推荐) 这个网站(我看过好多觉得这个好)
SOCKS 代理协议漫谈_yetugeng的专栏-CSDN博客_socks协议
首先,需要安装 socks 这个库:
import requests
proxy='123.58.10.36:8080' #本地代理
#proxy='username:password@123.58.10.36:8080'
proxies={
'http':'http://'+proxy,
'https':'https://'+proxy
}
try:
response=requests.get('http://httpbin.org/get',proxies=proxies)
print(response.text)
except requests.exceptions.ConnectionError as e:
print('错误:',e.args)
学到了就是没自己的代理
##超时设置
目的:在本机网络状况不好或者服务器网络响应太慢甚至无响应时,我们可能会等待特别久的时间才可能收到响应,甚至到最后收不到响应而报错。为了防止服务器不能及时响应,应该设置一个超时时间,即超过了这个时间还没有得到响应,那就报错。这需要用到 timeout 参数。这个时间的计算是发出请求到服务器返回响应的时间。
import requests
r = requests.get('https://blog.csdn.net/qq_62932195', timeout=1)
print(r.status_code)
请求分为两个阶段,即连接(connect)和读取(read)
timeout = connect + read
timeout=(10,20)
如果想永久等待,可以直接将 timeout 设置为 None,或者不设置直接留空,因为默认是 None
import requests
r = requests.get('https://blog.csdn.net/qq_62932195', timeout=None)
print(r.status_code)
##身份认证
https://static3.scrape.cuiqingcai.com/
这个就是个身份认证
基本格式
import requests
from requests.auth import HTTPBasicAuth
r = requests.get('http://localhost:5000', auth=HTTPBasicAuth('username', 'password'))
print(r.status_code)
1)基本身份认证
import requests
from requests.auth import HTTPBasicAuth
r = requests.get('https://static3.scrape.cuiqingcai.com/', auth=HTTPBasicAuth('admin', 'admin'))
print(r.status_code)
SSL错误:加上SSL验证
verify=False
import requests
from requests.auth import HTTPBasicAuth
r = requests.get('https://static3.scrape.cuiqingcai.com/', auth=HTTPBasicAuth('username', 'password'),verify=False)
print(r.status_code)
手动登陆(账号密码都是admin)
import requests
from requests.auth import HTTPBasicAuth
r = requests.get('https://static3.scrape.cuiqingcai.com/', auth=('admin', 'admin'),verify=False)
print(r.status_code)
返回 200
2)摘要式身份认证
另一种非常流行的HTTP身份认证形式是摘要式身份认证Digest Authentication,Requests 对它的支持也是开箱即可用的:
import requests
from requests.auth import HTTPDigestAuth
url = 'http://httpbin.org/digest-auth/auth/user/pass'
requests.get(url, auth=HTTPDigestAuth('user', 'pass'))
##总结
今天学到好多知识,期待应用