01.requests模块
- urllib模块–(古老,麻烦)
- requests模块–方便、高效
02.requests模块介绍
- python中原生的一款基于网络请求的模块,功能强大,简单便捷,效率极高。
- 作用:模拟浏览器发送请求。
03.如何使用:
- 指定url
- 发起请求(GET、POST)
- 获取响应数据
- 持久化存储
04.环境安装
- pip install requests
05.实战编码
- 需求:爬取百度首页的页面数据
import requests
if __name__ == "__main__":
# 指定url
url = 'https://www.baidu.com'
# 发起请求
reponse = requests.get(url)
# 获取响应数据
page_text = reponse.text
print(page_text)
# 持久化存储
with open('./baidu.html','w',encoding='utf-8') as fp:
fp.write(page_text)
print('爬取数据结束!')
-
运行截图