爬虫requests库-1-requests库模块安装发送请求和获取网页的字符串

requests基本介绍

requests的作用

• 发送网络请求，获取响应数据
• 中文文档API：https://2.python-requests.org//zh_CN/latest/user/install.html
  网址最好在Chrome浏览器打开，如果是英文，还可以右击翻译成中文

requests的安装使用

发送请求

• 首先导入requests模块，这是一个第三方模块，需要安装，pip install时需注意是Python2的pip还是Python3的pip,在终端通过pip --version查看版本，pip后面有一个空格。如果pip --version出来的结果是Python2.7，安装时需要pip3 --安装包，否则就是安装在Python2的环境里，以后在pycharm中很可能有些模块用不了。
• 安装requests包时提示先升级pip,直接升级权限不够，在终端中用sudo -s直接切换到管理员身份，再输入命令pip install --upgrade pip即可成功升级pip，然后再pip install requests,ctrl+d退出管理员权限。

发送get请求

• requests.get(“url地址”)，方法可以获取一个URL地址，获取的内容放在变量r中，r作为一个response对象。
  r = requests.get(“url地址”)

发送post请求

• r = requests.post(“url地址”)

请求的URL地址中必须有http协议，否则就会报错

获取URL的HTML

• r = requests.get(“http://www.baidu.com”)
  r此时是一个response对象

如何区分属性和方法

• 根据词性区分，名词是属性，后面没有括号，动词是方法，后面有括号
  自己定义类时，类属性、实例属性都应该定义成名词；定义方法时尽量用动词。
• r的text属性，名词，后面没括号
  在ipython3交互模式下，import requests后，r = requests.get(“http://www.baidu.com”)，r.text，返回的结果里有乱码，因为编码方式和解码方式不一致。
• encoding属性
  r.encoding,根据HTML头部推断编码方式，返回编码方式，是requests模块推测出来的。但是推测出来的一般是错误的
  此时需要指定解码方式，r.encoding = “utf-8”，然后再r.text即可返回没有乱码的内容
• content属性
  r.content 返回的内容是一个b开头的bytes类型数据，需要转换成字符串类型
  r.content.decode(),此时返回的结果就是有中文的
• decode()方法
  默认使用utf-8的方法解码，优先使用
  r.content.decode(),此时返回的结果就是有中文的

解码方式优先顺序

• r.content.decode() --默认用utf-8解码
• r.content.decode(“gbk”) --用gbk解码
• r.text --requests模块猜的解码方式

response.text和response.content的区别

requests保存网页图片到本地

pycharm中或者vim中
新建文件
vim 01-保存网页图片到本地

思路：

• 首先找到一个网页图片，右击图片，复制链接
• 发送请求
• 保存
  #with open(“a.png”,“wb”) as f:里传递的参数，第一个是文件名，第二个是打开参数wb,用二进制打开,w是字符串

  1 import requests
  2 
  3 # 发送请求
  4 r = requests.get("https://2.python-requests.org/en/master/_static/requests-s    idebar.png")
  5 # 保存
  6 with open("a.png","wb") as f:
  7     f.write(r.content)