该章节详细介绍了HTTP基本原理，包括URI和URL的区别，超文本概念，以及HTTP和HTTPS的区别。还探讨了HTTP请求过程，请求和响应的组成部分，如请求方法、响应状态码、请求头和响应体。此外，概述了网页爬虫的工作流程，包括获取网页、提取信息、保存数据的自动化步骤。虽然未详细介绍会话、cookies和代理，但它们是爬虫实现中的重要概念。
第2章 爬虫基础
2.1 HTTP基本原理
2.1.1 URI和URL
URI： Uniform Resource Identifier 统一资源标识符
URL：Universal Resource Locator 统一资源定位符
2.1.2 超文本
hypertext
2.1.3 http和https
https：Hyper Text Transfer Protocol over Secure Socket Layer
https是以安全为目标的HTTP通道，简单地讲师HTTP的安全版，即HTTP下加入SSL层，简称为HTTPS
2.1.4 HTTP请求过程
2.1.5 请求
- 请求方法：get和post
- get请求中的参数包含在URL中，数据可以在URL中看到；而post请求的URL不会包含这些数据，数据通过表单形式传输的，会包含在请求体中
- get请求提交的数据最多只有1024字节，post无限制
- 请求的网址
即URL - 请求头
- 请求体
2.1.6 响应
- 相应状态码
- 响应头
- 响应体
最低0.47元/天 解锁文章
扫一扫
5369
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
