python 爬虫 requests 总结

最新推荐文章于 2023-03-13 11:50:02 发布

置顶

Unintentionally_

最新推荐文章于 2023-03-13 11:50:02 发布

阅读量279

点赞数

分类专栏： 1

本文链接：https://blog.csdn.net/Unintentionally_/article/details/100665872

版权

本文详细介绍了Python爬虫中常用的requests模块，包括它的优势、使用流程、发起GET和POST请求的方法，以及如何处理cookie和使用代理。通过示例代码展示了如何设置请求头、携带cookie和使用代理进行网络请求，帮助理解requests在爬虫中的应用。

摘要由CSDN通过智能技术生成

1. requests

requests是基于urllib的再一次封装，具有urllib的一切特性，并且API调用更加方便，一个基于网络请求的模块，模拟浏览器发起请求

2.为什么使用requests模块？

**1.**自动处理url编码
**2.**自动处理post请求参数
**3.**简化cookie和代理的操作
cookie的操作：
**a.**创建一个cookiejar对象
**b.**创建一个handler对象
**c.**创建一个opener对象
代理的操作：
**a.**创建handler对象，代理ip和端口封装到该对象
**b.**创建opener对象

3.使用流程：

安装：pip3 install requests
**1.**指定url
**2.**使用requests模块发起请求
**3.**获取响应的二进制数据
**4.**进行持久化存储
requests包括五中请求：get,post,ajax的get请求，ajax的post请求，综合import requests
**1、**指定url
url = ‘https://www.sogou.com/’
**2、**发起get请求:get方法会返回请求成功的相应对象