python 使用 requests 库发送请求及设置代理

1、请求网页时，有的网页有防机器人，所以需要设置 user-agent 标识为浏览器，就不会被拒绝访问；

2、当访问国外需要翻墙的网页时，可以通过设置代理实现访问，分为 http 和 https 两种，另外需要注意 urllib3 版本不要高于 1.26.0，当请求出现错误（check_hostname requires server_hostname） 或者一直没响应时，可以检查是否是 urllib3 版本问题；

3、

        发送 get 请求时，传参使用参数名 params：requests.get(url, headers, params=params)

        发送 post 请求时，传参使用参数名 data：requests.post(url, headers, data=params)

        响应数据：

•  response.status_code   # 响应的状态码
•  response.headers         # 响应的头信息
•  response.text               # 返回数据（字符串）
•  response.json()           # 返回数据（json 格式）
• response.content        # 返回数据（二进制数据）
  
   

  import requests
  import random
  
  
  def request_url(url):
      user_agent = [
          'Mozilla/5.0 (Windows NT 10.0; Win64;