python爬虫下载库:requests库的安装和具体用法实例介绍

安装模块:

pip install requests

python requests 第三方库有什么用?

相对于Python 的标准库 urllib 下载器来说,requests 下载器使用起来容易理解,也容易开发,这无疑提高了开发的效率。

下面从五个方面讲解 requests 库常见的用法:

ps:文章来源于小编的头条号:“python数据科学频道”,想在手机端方便看文章的朋友可以去关注我的头条号。

1.没有添加任何参数的情况下

import requests

reponse=requests.get("https://www.baidu.com/")
reponse.encoding='utf-8'
# 返回状态码
print(reponse.status_code)
# 打印网页的内容
print(reponse.text)

2.请求头

为什么要设置请求头呢?因为网站为了防止别人恶意爬取网址的信息而设置的反爬虫技术。

例如以下例子的爬取https://www.whatismyip.com/网址遭到拒接。

import requests
reponse=requests.get("https://www.whatismyip.com/")
reponse.encoding='utf-8'
# 返回状态码
print(reponse.status_code)
# 打印网页的内容
print(rep
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

txhy2018

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值