`#request模块
'''
环境安装:
pip install requests
基本介绍:
request模块是基于模拟浏览器向网页发送请求的模块,相对于urlib模块具有功能强大、方便便捷、效率高效的特点。
编码的基本流程:
- 指定url
- 发送请求
- 获取响应数据
- 持久化存储
实战编码:
- 爬取百度首页的数据
'''
import requests
if __name__ == "__main__":
#step1 指定url
url = 'https://www.baidu.com/'
#step2 发起请求 使用requests下的get方法(url, params, kwargs)
#get方法会返回一个响应对象,我们用responce来接收
response = requests.get(url=url)
#step3 获取响应数据 .text 返回的是字符串形式的响应数据 也就是网页的源码
#并进行检测拿到的是不是我们要的数据
page_text = response.text
print(page_text)
#step4 持久化存储
with open('./baidu.html', 'w', encoding='utf-8') as fp: #以baidu.html文件存储到当前目录下
fp.write(page_text) #向本地写入数据
print('数据爬取结束')
Python爬虫学习记录(一)requests模块的使用
最新推荐文章于 2024-09-04 20:18:34 发布