python爬虫导出依赖的库_Python网络爬虫之Requests库的使用(一)

原标题:Python网络爬虫之Requests库的使用(一)

我们之前介绍了urllib库的使用,其是作为爬虫入门工具来介绍的,对新手理解python爬虫的整个流程很有帮助。在掌握了爬虫基本思想流程后,就需要引入更高级的工具来提高我们的开发效率,这一节就开始给大家介绍Requests库的使用。

安装

安装命令:pip install requests

库的引入

直接上代码:

8126ed6837f040d483dd5a514b0a605c.png

输出(结果类型、状态码、Cookies和网页文本)结果为:

b06b02dd2e774185896b98ea73d8a1cd.png

基本请求

Requests库提供了http所有的请求方法:

r = requests.post("http://httpbin.org/post")

r = requests.put("http://httpbin.org/put")

r = requests.delete("http://httpbin.org/delete")

r = requests.head("http://httpbin.org/get")

r = requests.options("http://httpbin.org/get")

GET请求

最基本的get请求可以用get方法:

r = requests.get("http://httpbin.org/get")

如果想要想要传递参数,可以利用params参数:

61e409877e654177b06c9e7dbd742198.png

输出结果为:http://httpbin.org/get?key1=value1&key2=value2

如果想传递headers,可以利用headers参数:

7eb2eca11e414639b0585dcbe9b74cbb.png

POST请求

对于POST请求,当我们传递参数的时候,一般是利用data这个参数,直接上代码:

f844d42bd4d24275b9e61004958d4f21.png

输出结果为:

1d1abb72a5bc489e84920fff35352c89.png

从输出结果中的“form”值来看传参数成功了,并由服务器返回给我们。

有时我们不仅要把表单数据传递给服务器,有时还需要将json格式文件数据传递过去,这时就需要json.dumps()方法将json文件序列化后再传递,上代码:

98d31a0fe2b1437591b59238031cd3a6.png

输出结果如下:

e6699f7412ae483ca88f7f30600fb881.png

如果我们想上传一个文件,就需要用到files这个参数,比如文件是a.txt,里面的内容是“hello,word”,直接上代码:

5854b6d5bf1f4090a18be0efda8f76ba.png

输出结果为:

bc477d7d201646faa9c7bf5738c610ba.png

从返回的files值来看,文件中的内容已被传递给服务器啦。

责任编辑:

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值