爬虫之Requests模块（编码、解码、保存图片、文件读写操作）

Requests使用入门(第三方模块，需要pip安装，自行百度)

• 问题：为什么要学习requests,而不是urllib？
• 原因：
  • 1.requests的底层实现就是urllib
  • 2.requests在python2、3中通用，方法一样
  • 3.requests简单易用
  • 4.requests能够自动解压（gzip压缩等）网页内容

requests的作用

• 作用：发送网络请求，返回响应数据
• 详情链接：request API 中文文档 >>>>

response的编码与解码

• response = requests.get(“http://www.baidu.com”)
• 1.查看response（返回响应数据)的编码方式：
  • response.encoding （比如：ISO-8859-1）
• 2.对response进行解码：
  • 1.response.text：（返回的是unicode 型的 str 数据）
    response.encoding = ‘utf-8’ 或者 ‘gbk’
  • 2.response.content：（返回的是二进制的 bytes 数据）
    response. content.decode() （默认utf-8解码)
    response. content.decode(‘gbk’)

用requests保存网页图片到本地

• 1.复制图片地址
• 2.通过requests请求图片地址

import requests

#发送请求
response