爬虫之requests模块

requests的作用

        发送网络请求，返回响应数据

import requests

headers = {
    "User-Agent": "Mozilla/5.0 (Linux; Android 5.0; SM-G900P Build/LRX21T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Mobile Safari/537.36"}

url = 'https://www.baidu.com/s?' 

# 请求参数是一个字典 即wd=python
kw = {'wd': 'python'} 

# 带上请求参数发起请求，获取响应
response = requests.get(url, headers=headers, params=kw) 

print(response.content)

requests库的七个主要方法

方法	解释
requests.request()	构造一个请求，支持以下各种方法
requests.get()	获取html的主要方法
requests.head()	获取html头部信息的主要方法
requests.post()	向html网页提交post请求的方法
requests.put()	向html网页提交put请求的方法
requests.patch()	向html提交局部修改的请求
requests.delete()	向html提交删除请求

 使用requests发送GET请求

参数	说明
url	向服务器发送url请求
params	添加查询参数
**kwargs(headers)	添加请求头信息

• url: 需要爬取的网站地址。
• params: 翻译过来就是参数， url中的额外参数，字典或者字节流格式，可选。
• **kwargs : 12个控制访问的参数 
  
  

我们先来讲讲**kwargs:

**kwargs有以下的参数，对于requests.get,其第一个参数被提出来了。

• params：作为参数增加到url中，是以key1=value1&key2=value2的模式增加到url中 ，例如：kv = {‘key1: ’ values’, ‘key2’: ‘values’} 
• r = requests.get(‘http:www.baidu.com’, params=kw)
• data：字典，字节序或文件对象，重点作为向服务器提供或提交资源是提交，，作为request的内容，与params不同的是，data提交的数据并不放在url链接里， 而是放在url链接对应位置的地方作为数据来存储。，它也可以接受一个字符串对象。

• json：json格式的数据， json合适在相关的html，http相关的web开发中非常常见， 也是http最经常使用的数据格式， 他是作为内容部分可以向服务器提交。 
  例如：kv = {”key1’: ‘value1’} 
  r = requests.request(‘POST’, ‘http:www.baidu.com‘, json=kv)

• headers：字典是http的相关语，对应了向某个url访问时所发起的http的头i字段， 可以用这个字段来定义http的访问的http头，可以用来模拟任何我们想模拟的浏览器来对url发起访问。 
  例子：headers = {"User-Agent": "Mozilla/5.0 (Linux; Android 5.0; SM-G900P Build/LRX21T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Mobile Safari/537.36"}
  r = requests.request(‘POST’, ‘http:www.baidu.com‘, headers=headers )

• cookies：字典或CookieJar，指的是从http中解析cookie

• auth：元组，用来支持http认证功能

• files：字典， 是用来向服务器传输文件时使用的字段。 
  例子：fs = {‘files’: open(‘data.txt’, ‘rb’)} 
  r = requests.request(‘POST’, ‘http:www.baidu.com‘, files=fs)

• timeout: 用于设定超时时间， 单位为秒，当发起一个get请求时可以设置一个timeout时间， 如果在timeout时间内请求内容没有返回， 将产生一个timeout的异常。

• proxies：字典， 用来设置访问代理服务器。

• allow_redirects: 开关， 表示是否允许对url进行重定向， 默认为True。

• stream: 开关， 指是否对获取内容进行立即下载， 默认为True。

• verify：开关， 用于认证SSL证书， 默认为True。

• cert： 用于设置保存本地SSL证书路径

  这句代码是构造一个服务器请求request，返回一个包含服务器资源的response对象。

模仿浏览器向百度发送简单请求（url）：

import requests 

# 目标url
url = 'https://www.baidu.com' 

# 向目标url发送get请求
response = requests.get(url)

# 打印响应内容
print(response.text)

发送带有请求参数以及请求头的请求（params，headers）：

import requests

headers = {
    "User-Agent": "Mozilla/5.0 (Linux; Android 5.0; SM-G900P Build/LRX21T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Mobile Safari/537.36"}

url = 'https://www.baidu.com/s?' 

# 请求参数是一个字典 即wd=python
kw = {'wd': 'python'} 

# 带上请求参数发起请求，获取响应
response = requests.get(url, headers=headers, params=kw) 

print(response.content)

requests返回对象的常见属性值：

response = requests.get(url, headers=headers, params=kw) 
data_text = response.text # 响应体 str类型
data_bytes = response.content # 响应体 bytes类型
code = response.status_code # 响应状态码
request_headers = response.request.headers # 响应对应的请求头
headers = response.headers # 响应头
request_cookies = response.request._cookies # 响应对应请求的cookie
cookies = response.cookies # 响应的cookie（经过了set-cookie动作）

proxies：用来设置访问代理服务器

        使用原因：

1. 让服务器以为不是同一个客户端在请求

2. 防止我们的真实地址被泄露，防止被追究

        使用流程：

        使用：

  requests.get("http://www.baidu.com",  proxies = proxies)

      代理的分类：

            1. 透明代理：虽然隐藏了IP但还是可以查找到你是谁

            2. 匿名代理 ：别人知道你使用了代理，但是不知道你是谁

            3.高匿代理 ：别人根本不知道你使用了IP

      从请求使用的协议可以分为：

• http代理
• https代理
• socket代理等

    不同分类的代理，在使用的时候需要根据抓取网站的协议来选择

 使用requests发送POST请求

参数	说明
url	向服务器发送url请求
data	提交表单的数据
**kwargs(headers)	添加请求头信息

post函数和get函数使用差不多

response = requests.post("http://www.baidu.com/", \
  data = data,headers=headers)

案例：

post请求百度翻译，因为pc端设有token机制，所以已手机版为例

import requests

import json

class Get_baidufanyi(object):
    def __init__(self):
        self.bases_url = 'http://fanyi.baidu.com/basetrans'
        self.headers = {"User-Agent": "Mozilla/5.0 (Linux; Android 5.0; SM-G900P Build/LRX21T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Mobile Safari/537.36"}

    def send_post(self):
        data = {
           'query':input('请输入:'),
            'from':"zh",
            'to':"en"
        }
        response = requests.post(url=self.bases_url,data=data,headers=self.headers)
        return response.content.decode()

    def run(self):
        context = self.send_post()
        fanyi_dict = json.loads(context)
        result =fanyi_dict['trans'][0]['dst']
        print(result)

if __name__ == '__main__':
    fanyi = Get_baidufanyi()
    fanyi.run()

requests中的其他方法

   cookirJar

        response.cookies返回的是类型为cookirJar类型

        requests.utils.dict_from_cookiejar，可以将其转换为字典

import requests

url = "http://www.baidu.com"
#发送请求，获取resposne
response = requests.get(url)
print(type(response.cookies))

#使用方法从cookiejar中提取数据
cookies = requests.utils.dict_from_cookiejar(response.cookies)
print(cookies)

      

有时候我们需要爬一些需要登录才能进入网页，这个时候就要用到cookie相关的一些模块来操作了

内置的http包里包含了cookie相关的一些模块，通过她们我们可以自动使用cookie

• CookieJar
  • 管理储存cookie，像传出的http请求添加cookie
  • cookie存储在内存中，CookieJar示例回收后cookie将自动消失
• FileCookieJar
  • 是CookieJar的字类
  • cookie保存在文件中
• MozillaCookiejar
  • 是FileCookieJar的子类
  • 与moccilla浏览器兼容
• LwpCookieJar
  • 是FileCookieJar的子类
  • 与libwww-perl标准兼容