Python爬取网页简单数据---以及详细解释用法！入门从这开始！

最新推荐文章于 2024-05-13 13:07:07 发布

PythonJavaPHP

最新推荐文章于 2024-05-13 13:07:07 发布

阅读量579

点赞数

分类专栏： Python 文章标签： Python

本文链接：https://blog.csdn.net/PythonJavaPHP/article/details/103065940

版权

本文介绍了如何使用Python进行简单的网页爬取，以拉勾网的Python职位薪资数据为例，讲解了如何获取请求头、解析HTML标签以及避免频繁请求服务器的注意事项。同时，鼓励读者尝试将数据保存到本地文件中。

摘要由CSDN通过智能技术生成

一、准备工作（找到所需网站，获取请求头，并用到请求头）

请求头的作用：模拟真实用户进入网站浏览数据-----------headers={ 'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.90 Safari/537.36',}
r=requests.get("https://www.lagou.com/zhaopin/Python/",headers=headers)-------------------这两行就是模拟用户进入网站
找到数据所在网页的标签 （html网页右键源代码查看即可）

假设这里的15k-25k是我们要的数据，右键查看按箭头查看即可-----例如这里是span标签class=''money''( 可以点击下面的控制台查看money是什么属性，有的是id=“money”这样的 )------具体得看html代码

私信博主001 领取完整代码！

关注

专栏目录