[Python爬虫]requests使用

爬取网页步骤：

• 确定目标：确定能爬取的内容
• 分析目标：手动定位到元素
• 调试代码：确保代码结果符合预期

Requests介绍：

• 使用简单功能强大基于HTTP协议的网络访问模块
• 可以用来完成网络的访问请求

Get请求的模拟：

• 模拟get请求访问对方文件
  • requests.get(url)
• Get请求的步骤：
  • 准备请求信息（通常用于反爬）
  • 执行get操作
  • 解析结果
• Get请求结果：
  • requests.get(url).status_code
    • 响应状态码，通过这个状态码可以判断访问的结果是否成功
  • requests.get(url).content
    • ​​​​​​​二进制（byte字节码）格式的内容，一般不需要直接获取
  • requests.get(url).text
    • ​​​​​​​response.content解码后的文本，一般我们直接读取这个信息
  • requests.get(url).json
    • ​​​​​​​很多API接口放回结果是json格式，这个函数可以让我们获得json的格式请求结果，处理json格式的响应体
  • requests.get(url).cookies
    • ​​​​​​​获取response的cookie值
  • requests.get(url).url
    • ​​​​​​​本次请求的url信息

Post请求的模拟：

• 模拟post请求访问对方，一般用以模拟表单发送数据给服务器
  • requests.post(url，data，……)
• post请求步骤：
  • 准备需要发送的信息
  • 执行post操作
  • 接受反馈

Requests模块总结

• Requests模块就是在代码中更可以用来替代浏览器执行访问服务器功能的一个用代码来调用的模块
• 主要用来模拟get和post请求