自学爬虫第二章:requests模块
注意:此文使用pycharm软件进行编辑
1.requests介绍
- requests模块:python中原生的一款基于网络请求的模块
- 作用:模拟浏览器发请求
- 优点:功能强大,简单便捷,效率高
2.request使用编码流程
- 指定url
- 发起请求,返回响应对象
- 获取响应数据
- 存储数据
3.实战案例:搜狗页面爬取
1.环境安装
在控制台输入以下命令:
pip install requests
或者在本地安装,打开File–Settings-Project:Arithmetic-Python Interpreter进行下载:
2.编码过程
- 导入requests包
import requests
if __name__ == "__main__":
# 1.指定url
url ='https://www.sogou.com/'
# 2.发起请求,get方法返回响应对象
response = requests.get(url=url)
# 3.获取响应数据.text返回的是字符串形式的响应对象
page_text=response.text
# 查看是否返回的是字符串
print(page_text)
# 4.存储数据
with open('./sougou.html','w',encoding='utf_8') as fp:
fp.write(page_text)
print('爬取数据成功!')
3.爬取结果展示
保存的.html文件