本文基于各个大佬的文章
上点关注下点赞,明天一定更灿烂!
目录
前言
暑假在家闲来无事,网上冲浪刷到了爬虫教程,目前正在学习中。本文即记录所学内容。
提示:以下是本篇文章正文内容,下面案例可供参考
一、安装
1.什么是requests?
Requests 库 是 Python 中一个非常实用的 HTTP 请求库。它极大地简化了在 Python 中发送 HTTP 请求的过程,让开发者能够轻松地与 Web 服务进行交互。
2. 使用 pip 命令安装
在命令行终端(Terminal)中输入以下命令:
pip install requests
这个是国外源,下载很慢。如果你输入了也没反应,或者显示错误,可能是没有下载pip的原因,可以按照此步骤 ,依次选择 File -> SettingsProject -> Python Interpreter->+号->搜索pip->下载
(下面有图示,只需在搜索时把requests换成pip)
国内源下载(喜欢谁咱就用谁)(这个嘎嘎快)
清华源
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple requests
阿里源
pip install -i https://mirrors.aliyun.com/pypi/simple requests
腾讯源
pip install -i http://mirrors.cloud.tencent.com/pypi/simple requests
3.直接在Pycharm设置里下载(步骤如下)
可以愉快的下载了!
二、requests用法
上面说道requests让开发者能够轻松地与 Web 服务进行交互,爬虫入门01 http基本原理 里我们学习了交互过程。我们用requests库构建请求,然后得到响应。
1.如何获得页面请求方式
鼠标点击右键->检查->网络(network)->刷新一下->点击标头,查看请求方式
这个url的请求方式为GET
2.GET 从指定的资源请求数据
假设我们对百度发出请求,代码如下:
import requests
url="https://www.baidu.com"
resp=requests.get(url)
print(resp.text)
运行成功
运行出来的结果是否正确呢?这到底是不是百度的text?
复制链接到浏览器后打开,打开后鼠标点击右键,选择查看页面源代码,我们可以发现,此页内容与运行内容相同,说明请求成功了,获得的内容也是正确的。
如果已经安装了requests,但还是运行错误,而且报错内容如下:
解决方案很简单,看一下你是不是用requests给程序命名啦!模块名和文件名冲突了,当他导入这个库时系统会觉得他导入的是requests.py这个文件,所有会报错,只需要把文件名修改一下就行了。 鼠标右键点击项目->选择Rename File->修改名字
完美解决!
3.POST 向指定的资源提交要被处理的数据。
1)无参数POST请求
此时只需要把上面的get改成post
2)有参数POST请求
import requests
data = {'name': 'germey', 'age': '25'}
r = requests.post(" http://httpbin.org/post", data=data)
print(r.text)
成功得到结果,其中 form 部分就是提交的数据,证明 POST 请求成功发送了
4.响应
发送请求后,得到的自然就是响应,即 Response。上面实例中,我们用text获取了相应内容,除了text,还有很多属性和方法用来获得信息,比如 status_code 属性得到状态码,headers 属性得到响应头,cookies 属性得到 Cookies,history 属性得到请求历史等等。
提到状态码,我们见过的404就是状态码,还有其他数字,简单列举几个常用的,感兴趣的可以自己搜一下。
总结
本文只是简单引入了requests库,带大家下载并了解它的用途,下一节我们将requests的具体用法。