python爬虫学习总结

最新推荐文章于 2023-03-07 09:24:13 发布

Sakura龙

最新推荐文章于 2023-03-07 09:24:13 发布

阅读量845

点赞数 1

文章标签： python 爬虫学习

本文链接：https://blog.csdn.net/m0_50728912/article/details/128155903

版权

这篇博客总结了Python爬虫的基础学习，包括使用requests库发送HTTP请求和接收响应，理解URL管理器的作用，以及如何利用Beautiful Soup解析HTML网页。通过学习，可以掌握爬虫的基本工作流程和数据提取技巧。

摘要由CSDN通过智能技术生成

网络爬虫的入门学习

本总结基于b站学传送门

爬虫基本的几个模块
请添加图片描述

requests库

请添加图片描述

发送request请求

url：要下载的目标网页的url
params：字典形式，设置url后面的参数，比如？id=123&name=xiaoming
data：字典或者字符串，一般用于POST方法提交数据
header：设置user-agent、refer等请求头，来假装是一个真实的用户在进行访问网页
timeout：超时时间，单位是秒
verify：True/False，是否进行HTTPs证书验证，默认是，需要自己设置证书地址
allow_redirects：True/False是否让requests做重定向处理，默认是
cookies：附带本地的cookies数据