Requests库是python的第三方库,也是目前公认的爬取网页最好的第三方库。
可在http://www.python-requests.org获得Requests的更多信息
Requests库的安装方法如下:
1.用管理员身份启动cmd控制台
2.在命令行输入pip install requests进行安装模块
3.检测requests模块安装的效果
启动IDLE,启动步骤:找到python的安装包-进入lib-进入idlelib,双击idle.bat即可启动
以访问百度主页为例,依次输入:
import requests
r = requests.get("http://www.baidu.com")
r.status_code 访问百度的状态码
r.encoding = 'utf-8'
r.text
即可成功抓取百度的首页
或者直接在pycharm中写代码:
import requests
r = requests.get("http://www.baidu.com")
print(r.status_code)
r.encoding = 'utf-8'
print r.text
运行之后即可看到爬取百度首页成功