爬虫（4）——requests库

目录

 

request的请求

request的各种属性

requests的代理机制

requests处理cookie

---

request的请求

发送什么类型的请求，就直接发送

response=requests.get("http://www.baidu.com")text

request的各种属性

import requests

response=requests.get("http://www.baidu.com")
print(type(response.text))##是‘str’类型
print(response.text)

可以看到有乱码

import requests

response=requests.get("http://www.baidu.com")
# print(type(response.text))
# # # print(response.text)
print(type(response.content))#是bytes类型
print(response.content)

可以看到乱码消失，可以指定解码方式

import requests

response=requests.get("http://www.baidu.com")
# print(type(response.text))
# # # print(response.text)
print(type(response.content))
print(response.content.decode('utf-8'))

其他的功能

import requests

response=requests.get("http://www.baidu.com")
# print(type(response.text))
# # # print(response.text)
# print(type(response.content))
# print(response.content.decode('utf-8'))
print(response.url)
print(response.encoding)#查看响应头部字符编码
print(response.status_code)#查看状态码

 

requests的代理机制

传递proxies参数就可以

requests处理cookie

如果想在多次请求中共享cookie，应该使用session，代码如下：

import requests
headers={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.132 Safari/537.36ver"}
denglu_url="http://www.renren.com/974116704/newsfeed/photo"
data={
        "email":"",
        "password":""
    }
login_url="http://www.renren.com/SysHome.do"
session=requests.sessions()
resp=session.post(login_url,headers=headers,data=data)
req=session.get(denglu_url,headers=headers)
print(req.text)