python 一 ：requests基本用法

最新推荐文章于 2024-04-10 11:05:40 发布
最新推荐文章于 2024-04-10 11:05:40 发布
阅读量339 收藏 1
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lichao201005/article/details/85250473
版权

python requests库比urllib库使用起来简单，建议以后使用requests库，示例如下：

import requests
r = requests.get('https://www.baidu.com/')
print(type(r))
print(r.status_code)
print(type(r.text))
print(r.text)
print(r.cookies)

运行结果如下：

C:\Users\lc\AppData\Local\Programs\Python\Python37\python.exe C:/Users/lc/Desktop/python/helloword.py
<class 'requests.models.Response'>
200
<class 'str'>
<!DOCTYPE html>
<!--STATUS OK--><html> <head><meta http-equiv=content-type content=text/html;charset=utf-8><meta http-equiv=X-UA-Compatible content=IE=Edge><meta content=always name=referrer><link rel=stylesheet type=text/css href=https://ss1.bdstatic.com/5eN1bjq8AAUYm2zgoY3K/r/www/cache/bdorz/baidu.min.css><title>ç¾åº¦ä¸ä¸ï¼ä½ å°±ç¥é</title></head> <body link=#0000cc> <div id=wrapper> <div id=head> <div class=head_wrapper> <div class=s_form> <div class=s_form_wrapper> <div id=lg> <img hidefocus=true src=//www.baidu.com/img/bd_logo1.png width=270 height=129> </div> <form id=form name=f action=//www.baidu.com/s class=fm> <input type=hidden name=bdorz_come value=1> <input type=hidden name=ie value=utf-8> <input type=hidden name=f value=8> <input type=hidden name=rsv_bp value=1> <input type=hidden name=rsv_idx value=1> <input type=hidden name=tn value=baidu><span class="bg s_ipt_wr"><input id=kw name=wd class=s_ipt value maxlength=255 autocomplete=off autofocus=autofocus></span><span class="bg s_btn_wr"><input type=submit id=su value=ç¾åº¦ä¸ä¸ class="bg s_btn" autofocus></span> </form> </div> </div> <div id=u1> <a href=http://news.baidu.com name=tj_trnews class=mnav>æ°é»</a> <a href=https://www.hao123.com name=tj_trhao123 class=mnav>hao123</a> <a href=http://map.baidu.com name=tj_trmap class=mnav>å°å¾</a> <a href=http://v.baidu.com name=tj_trvideo class=mnav>è§é¢</a> <a href=http://tieba.baidu.com name=tj_trtieba class=mnav>è´´å§</a> <noscript> <a href=http://www.baidu.com/bdorz/login.gif?login&amp;tpl=mn&amp;u=http%3A%2F%2Fwww.baidu.com%2f%3fbdorz_come%3d1 name=tj_login class=lb>ç»å½</a> </noscript> <script>document.write('<a href="http://www.baidu.com/bdorz/login.gif?login&tpl=mn&u='+ encodeURIComponent(window.location.href+ (window.location.search === "" ? "?" : "&")+ "bdorz_come=1")+ '" name="tj_login" class="lb">ç»å½</a>');
                </script> <a href=//www.baidu.com/more/ name=tj_briicon class=bri style="display: block;">æ´å¤äº§å</a> </div> </div> </div> <div id=ftCon> <div id=ftConw> <p id=lh> <a href=http://home.baidu.com>å³äºç¾åº¦</a> <a href=http://ir.baidu.com>About Baidu</a> </p> <p id=cp>&copy;2017&nbsp;Baidu&nbsp;<a href=http://www.baidu.com/duty/>使ç¨ç¾åº¦åå¿è¯»</a>&nbsp; <a href=http://jianyi.baidu.com/ class=cp-feedback>æè§åé¦</a>&nbsp;京ICPè¯030173å·&nbsp; <img src=//www.baidu.com/img/gs.gif> </p> </div> </div> </div> </body> </html>

<RequestsCookieJar[<Cookie BDORZ=27315 for .baidu.com/>]>

Process finished with exit code 0

requests的方法使用起来相当简单，上例即完成了一次网络爬取。

一、GET()

网络爬取必用的方法get().

一个最简单的示例，http://httpbin.org/get 是一个测试在线测试网站，它判断如果客户端发起的是get请求直接返回相应的请求信息：

import requests
r = requests.get('http://httpbin.org/get')
print(r.text)

运行结果：

C:\Users\lc\AppData\Local\Programs\Python\Python37\python.exe C:/Users/lc/Desktop/python/helloword.py
{
  "args": {}, 
  "headers": {
    "Accept": "*/*", 
    "Accept-Encoding": "gzip, deflate", 
    "Connection": "close", 
    "Host": "httpbin.org", 
    "User-Agent": "python-requests/2.20.1"
  }, 
  "origin": "124.133.52.190", 
  "url": "http://httpbin.org/get"
}

返回相应的结果，包括args、headers、origin、url。

这是一个最基本的get请求，但实际情况都会带参数，比如现在要增加name是germey，age是22，两个参数该怎么办呢？一种简单的非正规方法是是：

r = requests.get('http://httpbin.org/get?name=germey&age=22')

当然实际情况不会这么干，因为如果参数的是用户名和密码的话，就在浏览器的地址栏暴露了。

实际的做法也很简单，只需构造个字典存储参数信息，然后把他当做get()的第二个参数，如下：

import requests
data = {
    'name':'germey',
    'age':22
}
r = requests.get('http://httpbin.org/get', params=data)
print(r.text)

执行结果如下：

C:\Users\lc\AppData\Local\Programs\Python\Python37\python.exe C:/Users/lc/Desktop/python/helloword.py
{
  "args": {
    "age": "22", 
    "name": "germey"
  }, 
  "headers": {
    "Accept": "*/*", 
    "Accept-Encoding": "gzip, deflate", 
    "Connection": "close", 
    "Host": "httpbin.org", 
    "User-Agent": "python-requests/2.20.1"
  }, 
  "origin": "111.34.28.46", 
  "url": "http://httpbin.org/get?name=germey&age=22"
}

此时返回的args即使传递的参数信息，且url被置成“http://httpbin.org/get?name=germey&age=22”

 

观察一下返回的结果类型是str，但是json格式的，可以把json转化为字典，需要调用json方法，示例如下：

import requests
data = {
    'name':'germey',
    'age':22
}
r = requests.get('http://httpbin.org/get', params=data)
print(type(r.text))
print(r.json())
print(type(r.json()))

执行结果如下：

<class 'str'>
{'args': {'age': '22', 'name': 'germey'}, 'headers': {'Accept': '*/*', 'Accept-Encoding': 'gzip, deflate', 'Connection': 'close', 'Host': 'httpbin.org', 'User-Agent': 'python-requests/2.20.1'}, 'origin': '111.34.28.46', 'url': 'http://httpbin.org/get?name=germey&age=22'}
<class 'dict'>

 

如果我们用以上get的基本用法去抓取其他网站，发现基本抓取失败，比如抓取知乎，示例如下：

import requests
r = requests.get('https://www.zhihu.com/')
print(r.text)

执行结果：

<html>
<head><title>400 Bad Request</title></head>
<body bgcolor="white">
<center><h1>400 Bad Request</h1></center>
<hr><center>openresty</center>
</body>
</html>

返回400的相应码，是服务端直接拒绝了此链接，

原因是一些网站为防止爬虫，会检测报文头即headers中的User-Agent字段，默认此字段带“python”字样，所以在抓取前需要设置此字段，伪装成是浏览器在访问，方法如下：

import requests
headers = {
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36'
}
r = requests.get('https://www.zhihu.com/',headers=headers)
print(r.text)

此处只需注意一下即可，每次访问前这样设置一下headers.

当然headers中不仅仅User-Agent需要设置，还有cookie等其他信息，比如要设置cookie，首先要获取cookie，可以用以下方法获取：

import requests
r = requests.get('https://www.baidu.com/')
print(r.cookies)

返回如下：

<RequestsCookieJar[<Cookie BDORZ=27315 for .baidu.com/>]>

关于cookie等其他信息，我们后续介绍。

官方认定好文
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
爬虫 - requests
Waller_的博客
11-25 1157
介绍 使用requests可以模拟浏览器的请求，比起python内置的urllib模块，requests模块的api更加便捷（本质就是封装了urllib3） 注意：requests库发送请求将网页内容下载下来以后，并不会执行js代码，这需要我们自己分析目标站点然后发起新的request请求 安装 >: pip3 install requests 使用 各种请求方式：常用的就是...
关于爬虫requets库的学习笔记
weixin_45488105的博客
03-01 393
1.使用requests主要是以文本形式打印出网页信息 主要形式： url = ’ ---------’ r=requests.get(url) #构造一个向服务器请求资源的Request对象，并返回一个包含服务器资源的Respend对象 2.r.status_code ：HTTP请求的返回状态，200表示连接成功，404表示失败 r.text ：HTTP响应内容的字符串形式...
【Python 】：Requests库安装和使用教程（非常详细）
最新发布
python03012的博客
04-10 5326
Python 提供了多个用来编写爬虫程序的库，除了前面已经介绍的 urllib 库之外，还有一个很重的 Requests 库，这个库的宗旨是“让 HTTP 服务于人类”。Requests 库是在 urllib 的基础上开发而来，它使用 Python 语言编写，并且采用了 Apache2 Licensed（一种开源协议）的 HTTP 库。与 urllib 相比，Requests 更加方便、快捷，因此在编写爬虫程序时 Requests 库使用较多。
2023全网最全requests库和requests模块使用详解（建议收藏）
m0_58026506的博客
07-14 2424
2023全网最全requests库和requests模块使用详解，还不进来看看！！
Python中requests库的用法详解
feng的博客
07-19 3234
requests是使用Apache2 licensed 许可证的HTTP库。比urllib模块更简洁。Request支持HTTP连接保持和连接池，支持使用cookie保持会话，支持文件上传，支持自动响应内容的编码，支持国际化的URL和POST数据自动编码。在python内置模块的基础上进行了高度的封装，从而使得python进行网络请求时，变得人性化，使用Requests可以轻而易举的完成浏览器可有的任何操作。
Python之Requests库的使用
积跬步，至千里。
07-14 370
Requests是一个功能强大的Python HTTP库，用于发送HTTP请求，获取响应数据。它简化了与HTTP资源的交互，提供了简洁且易于使用的API。
Python Requests库基本用法示例
09-20
主要介绍了Python Requests库基本用法,结合实例形式总结分析了Python Requests库安装、请求发送与响应、文件下载、重定向等相关操作技巧及注意事项,需要的朋友可以参考下
python学习——requests库的基本用法
01-21
import requests r = requests. get('https://www.baidu.com/') print(type(r)) print(r. status_code) print (type(r. text)) print(r. text) print(r.cookies) 各种请求 # 发送一个 HTTP POST 请求： r = ...
python中requests模块的使用方法
09-22
主要介绍了python中requests模块的使用方法,实例分析了requests模块的使用技巧,具有一定参考借鉴价值,需要的朋友可以参考下
Python使用requests提交HTTP表单的方法
09-19
今天小编就为大家分享一篇Python使用requests提交HTTP表单的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
http://httpbin.org 测试接口解析
chang995196962的博客
06-10 6659
介绍： HTTP库的测试一般来说较为繁琐，一些同学较为熟悉的RequestBin虽然好用，但只能测试POST，且无法控制其response。HTTPBin是以Python+Flask写的一款工具，它cover了各类的HTTP场景，且每个接口一定都有返回。 安装方法 使用pip工具分别安装httpbin与guicorn，guicorn是一个wsgi http服务器，详见guicorn 是什...
requests 基础内容介绍
Migrant workers
12-01 1272
介绍 官方的文档介绍：requests是一个非转基因的Python HTTP 库。功能强大，语法简洁。 安装 pip install resquests #1：测试安装的效果 #第一步 导入模块 import requests r = requests.get('http://www.baidu.com') print(r.status_code) #200 各类的请求方式介绍 方法 说明 requests.get() 获取HTML网页的主要方法，对应于HTTP的GET re
Python中的requests库日常使用教程
m0_75277660的博客
11-15 204
requests库在python日常开发工作中较为常见，无论是爬虫方向、还是处理web接口都用到了requests库，它的方法很丰富强大，以下记录的是平日里常用到的方法：
python requests用法总结
wangyx019的博客
09-23 650
python requests用法总结 requests是一个很实用的Python HTTP客户端库，编写爬虫和测试服务器响应数据时经常会用到。可以说，Requests 完全满足如今网络的需求 本文全部来源于官方文档 http://docs.python-requests.org/en/master/ 安装方式一般采用$ pip install requests。其它
Python中的requests的用法
weixin_41870061的博客
11-29 100
模块是一个用于发送HTTP请求的第三方库。它提供了简单易用的API，可以轻松地发送GET、POST、PUT、DELETE等HTTP请求。模块的一些基本用法示例，它还有许多其他功能和选项可以用于处理HTTP请求。可以查看官方文档以获取更多详细信息和其他示例。
python中requests的用法
agrapea的博客
05-19 323
requests库的安装 pip install requests 一/带payload参数的get请求 import requests #带参数请求，系统自动将字典形式的参数转换成url中可识别的参数 payload={'key1':'value1','key2':'value2'} r=requests.get("https://docs.python-requests.org/en/master/",params=payload) print(r.url) get不安全因为参数都显示在网址
pythonrequests的用法_python requests用法总结
weixin_39737224的博客
11-30 200
python requests用法总结requests是一个很实用的Python HTTP客户端库，编写爬虫和测试服务器响应数据时经常会用到。可以说，Requests 完全满足如今网络的需求本文全部来源于官方文档:安装方式一般采用pip install requests。其它安装方式参考官方文档导入模块： import requests一、GET请求r = requests.get('http:...
【Python3网络爬虫】 requests库的使用
搬砖者也
05-14 2643
1.requests库可以使Cookies,登陆验证，代理设置更加简单。一段代码，去对比urllib库的使用：import requests r = requests.get('https://wwww.baidu.com') print(type(r)) print(r.status_code) print(type(r.text)) print(r.cookies) 这些可以体现在请求上的相对...
Python爬虫(2):Requests的基本用法
hzp666的博客
03-21 591
Python爬虫(2):Requests的基本用法虽然Python有内置的urllib库，可以实现网络的请求，但是我并不推荐。因为urllib在很多时候使用起来不方便，比如加一个代理，处理Cookie时API都很繁琐，再比如发送一个POST请求也很麻烦。而Requests就相当于urllib的升级版本，简化了urllib的使用方法。有了Requests，我们可以用几句代码实现代理的设置，Cooki...
python：requests返回的json
06-28
使用requests库发送HTTP请求时，可以指定请求的方法、URL、请求头、请求体等信息，然后获取响应的数据。响应的数据可以是JSON格式的字符串，也可以是Python中的字典或列表对象。要将JSON格式的字符串解析为Python中...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值