Requests是在urllib库基础上用Python开发的HTTP库,与urllib 相比,语法简单易懂, 更加符合Python 优雅、简洁的哲学,且完全满足 HTTP 访问需求。
Requests 安装
pip install requests
requests库 使用范例
import requests
url = "https://www.baidu.com"
r = requests.get(url)
print(r.status_code)
print(r.headers)
print(r.encoding)
print(r.text)
print(r.text.encode(encoding=r.encoding))
print(r.content)
print(r.content.decode())
运行结果
若r.status_code返回200,说明响应成功;
若r.status_code返回418,说明服务器拒绝响应,需要在代码中加入防网站反爬功能
解决方案:加上headers,模拟浏览器对网页的访问
# 加入headers防网站反爬
headers = { 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36 Edge/15.15063' }
url = 'https://movie.douban.com/chart'
r = requests.get(url, headers=headers)