【Python网络蜘蛛 · 2】:requests模块的使用

目录

一、requests库的基本使用

1、requests模块下载

2、requests的基本使用

使用基本步骤

response.text 和response.content的区别 

二、常用的属性和方法 

1、几种常用的属性和方法 

2、代码演示

 演示:response.url

演示:response.status_code 

演示:response.request.headers 

演示:response.headers 

 演示:response.request._cookies

演示:response.cookies 

三、headers请求

四、发送带参数params 的请求

1、参数params的基本使用 

2、举例:网页搜索


一、requests库的基本使用

1、requests模块下载

requests模块作用:发送http请求,获取响应数据

  • requests模块是第三方模块,需要安装:
  • 输入安装命令:在python的终端输入pip install requests (按回车键进行安装)

2、requests的基本使用

  • 使用基本步骤

  • 代码演示

  • 修改代码,指定解码方式为:utf-8

  • 运行结果

  • response.text 和response.content的区别 

 response.text 类型:str 解码类型, requests模块自动根据HTTP 头部对响应的编码作出有根据的推测,推测的文本编码。

response.content 类型:bytes 解码类型,没有指定

  • 代码演示

  • 修改代码:在response.content后加上“.decode()”,对获取到的数据以“utf-8”进行编码。


二、常用的属性和方法 

1、几种常用的属性和方法 

  •  response.url:响应的url;有时候响应的url和请求的url并不一致
  • response.status_code: 响应状态码
  • response.request.headers: 响应对应的请求头
  • response.headers: 响应头
  • response.request._cookies: 响应对应请求的cookie;返回cookieJar类型
  • response.cookies: 响应的cookie(经过了set-cookie动作;返回cookieJar类型)

2、代码演示

  •  演示:response.url

  • 演示:response.status_code 

  • 演示:response.request.headers 

  • 演示:response.headers 

  •  演示:response.request._cookies

  • 演示:response.cookies 


三、headers请求

一般用法:requests.get(url, headers=headers)

headers参数接收字典形式的请求头,请求头字段名作为key,字段对应的值作为value

注意: 

添加User-Agent的目的是为了让服务器认为是浏览器在发送请求,而不是爬虫程序在发送请求。 


四、发送带参数params 的请求

1、参数params的基本使用 

通过params携带参数字典:  

  • 构建请求参数字典 ​    
  • 向接口发送请求的时候带上参数字典,参数字典设置给params

2、举例:网页搜索

通过携带params参数向网页发送指定查询内容的请求

  • 发现每次搜索结束的浏览器的网址url有一个共同点:

https://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=1&tn=baidu&wd=

不同之处就在参数“wd=”后的值,第一张图的结果:“wd=python”,第二张图的结果:“wd=java”,其值正是我们要查询的值。

  • 于是用python模拟浏览器的搜索引擎,获取网页源码。代码实现如下:

  • 5
    点赞
  • 21
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

街 三 仔

你的鼓励是我创作的最大动力~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值