爬虫第三篇——requests高阶教程

爬虫requests高阶

一、SSL验证

这次我们用B站作为例子来进行讲解
首先，用requests模块来请求一下B站：

import requests

response = requests.get('https://www.bilibili.com/')
print(response.status_code)

运行：

这里返回了 200，没返回失败也是挺神奇的
如果有报错SSLError，表示证书验证错误，把verify参数设置为False即可

import requests

response = requests.get('https://www.bilibili.com/',verify = False) #requests设置移除SSL认证
print(response.status_code)

运行：

我们可以看到警告信息，警告：Adding certificate verification is strongly advised（缺少证书）
我们有两种方法可以消除这个警告
第一种：设置忽略警告

import requests
from requests.packages import urllib3

urllib3.disable_warnings()
response = requests.get('https://www.bilibili.com/',verify = False)
print(response.status_code)

运行

第二种：通过捕获警告到日志来忽略警告

import requests
import logging

logging.captureWarnings(True)
response = requests.get('https://ww