手把手教你使用 Python 抓取并存储网页数据！最详细的爬虫教程！

爬虫是 Python 的一个重要的应用，使用 Python 爬虫我们可以轻松的从互联网中抓取我们想要的数据

本文将基于爬取 B 站视频热搜榜单数据并存储为例，详细介绍 Python 爬虫的基本流程。

PS：如有需要Python学习资料的小伙伴可以加点击下方链接自行获取

python免费学习资料以及群交流解答点击即可加入

如果你还在入门爬虫阶段或者不清楚爬虫的具体工作流程，那么应该仔细阅读本文！

  第一步：尝试请求

首先进入 b 站首页，点击排行榜并复制链接

https://www.bilibili.com/ranking?spm_id_from=333.851.b_7072696d61727950616765546162.3

现在启动 Jupyter notebook ，并运行以下代码

import requests

url = 'https://www.bilibili.com/ranking?spm_id_from=333.851.b_7072696d61727950616765546162.3'
res = requests.get('url')
print(res.status_code)
#200

在上面的代码中，我们完成了下面三件事

• 导入 requests
• 使用 get 方法构造请求
• 使用 status_code 获取网页状态码

可以看到返回值是 200 ，表示服务器 正常响应 ，这意味着我们可以继续进行