1、请求网页时,有的网页有防机器人,所以需要设置 user-agent 标识为浏览器,就不会被拒绝访问;
2、当访问国外需要翻墙的网页时,可以通过设置代理实现访问,分为 http 和 https 两种,另外需要注意 urllib3 版本不要高于 1.26.0,当请求出现错误(check_hostname requires server_hostname) 或者一直没响应时,可以检查是否是 urllib3 版本问题;
3、
发送 get 请求时,传参使用参数名 params:requests.get(url, headers, params=params)
发送 post 请求时,传参使用参数名 data:requests.post(url, headers, data=params)
响应数据:
- response.status_code # 响应的状态码
- response.headers # 响应的头信息
- response.text # 返回数据(字符串)
- response.json() # 返回数据(json 格式)
- response.content # 返回数据(二进制数据)
import requests import random def request_url(url): user_agent = [ 'Mozilla/5.0 (Windows NT 10.0; Win64;