1、模块的安装
方法一:命令窗口安装
win+R调出命令窗口
键入:pip install requests
方法二:在PYcharm里下载
new>Settings>
点击左下角Install Packge
2-requests模块作用
-模拟浏览器发送请求
3-如何使用
-指定URL
-发送请求
-获取响应数据
-持久化存储数据
4-简单案例(爬取搜狗首页)
源码如下:(环境:Pycharm)
# 爬取搜狗首页
import requests
if __name__ == "__main__":
# 指定URL
url = "https://www.sogou.com/"
# 发起请求
# get方法会返回一个响应对象
response = requests.get(url=url)
# 获取响应数据
page_text = response.text
print(page_text)
# 存储
with open("./sogou.html","w",encoding="utf-8") as fp:
fp.write(page_text)
print("爬取数据完毕!!!")
结果:为该页面源代码