requests爬虫库明明安装成功了，为啥用不了？

目录

一、安装验证

二、常见问题及解决方案

网络问题

SSL证书验证问题

请求头问题

代理问题

超时问题

三、总结

---

对于很多初入爬虫领域的新手朋友来说，可能会遇到这样的问题：明明已经成功安装了requests库，但在尝试使用它进行网络请求时却遇到了各种问题。本文将从多个方面探讨可能导致requests库无法正常使用的原因，并提供相应的解决方案和案例代码，帮助新手朋友更好地理解和解决问题。

一、安装验证

首先，确保你已经正确安装了requests库。你可以通过以下命令来安装requests：

pip install requests

安装完成后，你可以通过以下代码来验证requests库是否成功安装：

import requests  
  
print(requests.__version__)

如果输出了requests库的版本号，则说明requests库已经成功安装。

二、常见问题及解决方案

网络问题

在进行网络请求时，可能会因为网络问题导致请求失败。这可能是由于你的网络环境不稳定、目标服务器不可用等原因造成的。为了解决这个问题，你可以尝试更换网络环境、检查目标服务器的状态或增加重试机制。

案例代码：增加重试机制

import requests  
from requests.adapters import HTTPAdapter  
from requests.packages.urllib3.util.retry import Retry  
  
session = requests.Session()  
retry = Retry(total=5, backoff_factor=0.1, status_forcelist=[ 500, 502, 503, 504 ])  
adapter = HTTPAdapter(max_retries=retry)  
session.mount('http://', adapter)  
session.mount('https://', adapter)  
  
response = session.get('http://example.com')

上述代码通过创建一个requests.Session对象，并为其添加了一个重试机制，当遇到500、502、503、504等错误时，会自动进行重试。

SSL证书验证问题

在进行HTTPS请求时，requests库会默认验证SSL证书。如果你的环境中缺少必要的证书文件或目标服务器的证书存在问题，可能会导致请求失败。你可以通过设置verify参数为False来跳过SSL证书验证，但这样做会存在一定的安全风险。

案例代码：跳过SSL证书验证

import requests  
  
response = requests.get('https://example.com', verify=False)

上述代码通过设置verify参数为False，跳过了SSL证书验证。

请求头问题

有些网站会对请求头进行检查，如果请求头不符合要求，可能会导致请求失败。你可以尝试设置合适的请求头来解决这个问题。

案例代码：设置请求头

import requests  
  
headers = {  
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'  
}  
  
response = requests.get('http://example.com', headers=headers)

上述代码通过设置合适的User-Agent请求头，模拟了一个常见的浏览器访问。

代理问题

如果你在使用代理服务器进行网络请求，需要确保代理设置正确。你可以通过设置proxies参数来配置代理。

案例代码：配置代理

import requests  
  
proxies = {  
    'http': 'http://10.10.1.10:3128',  
    'https': 'http://10.10.1.10:1080',  
}  
  
response = requests.get('http://example.com', proxies=proxies)

上述代码通过设置proxies参数，配置了HTTP和HTTPS的代理服务器。

超时问题

在进行网络请求时，如果目标服务器响应过慢或网络延迟较高，可能会导致请求超时。你可以通过设置timeout参数来指定超时时间。

案例代码：设置超时时间

import requests  
  
response = requests.get('http://example.com', timeout=5)  # 设置超时时间为5秒

上述代码通过设置timeout参数为5秒，指定了请求的超时时间。

三、总结

requests库无法正常使用可能是由于多种原因造成的，包括网络问题、SSL证书验证问题、请求头问题、代理问题和超时问题等。通过了解这些可能的原因和相应的解决方案，新手朋友可以更好地应对在使用requests库时遇到的问题