1.robots.txt 被称为君子协议 :规定了网站中哪些数据可以爬取哪些数据不能被爬取，例如：百度的robots.txt
2.http协议：服务器和客户端进行数据交互的一种形式
2.1. 常用的请求头信息：
-user-agent：请求载体的身份标识
-connection：请求完毕后断开连接还是保持连接
2.2. 常用的响应头信息：
-content-type:服务器响应客户端的数据类型
爬虫学习基础01
最新推荐文章于 2023-07-08 20:47:40 发布
本文介绍了HTTP协议在服务器与客户端交互中的作用，重点关注了请求头（如user-agent和connection）和响应头（如content-type）的信息。同时，讨论了robots.txt文件的重要性，它是网站所有者定义爬虫行为的君子协议，用于指示哪些页面可以被爬取，哪些禁止爬取。了解这些基础知识对于网络爬虫的开发和网站管理至关重要。
扫一扫
4979
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
