一木.溪桥 在Logic Education跟Jerry学爬虫
07期：Python 爬虫 一木.溪桥学爬虫-01：前导--端口、通讯协议、网络模型、Http、Https、万维网WWW、Http请求与响应
日期：2021年1月21日
学习目标：
- 端口
- 通讯协议
- 网络模型
- Http
- Https
- 万维网WWW
- Http请求与响应
学习内容：
端口
- 数据通讯步骤？
- 1.找到对方IP
- 2.数据发送到对方指定的应用程序上。为了标识这些应用程序，给网络应用程序进行数字标识。为了方便称呼这个数字，叫做端口，也叫“逻辑端口”。
- 3.对应通讯规则。这个通讯规则我们称之为协议。
- 端口eg.
- Http:80
- Https:443
通讯协议
-
国际组织定义了通用的通信协议书TCP/IP 协议。
-
所谓协议就是计算机通信网络中两台计算机之间进行通信所必须共同遵守的规定或规则。
-
Http 又叫超文本传输协议，端口为80。
网络模型
OSI参考模型
- OSI（Open System Interconnect），即开放式系统互连。 一般都叫OSI参考模型，是ISO组织在1985年研究的网络互连模型。该体系结构标准定义了网络互连的七层框架（物理层、数据链路层、网络层、传输层、会话层、表示层和应用层），即OSI开放系统互连参考模型。
TCP/IP 参考模型
-
TCP/IP参考模型是计算机网络的祖父ARPANET和其后继的因特网使用的参考模型。ARPANET是由美国国防部DoD（U.S.Department of Defense）赞助的研究网络。逐渐地它通过租用的电话线连结了数百所大学和政府部门。当无线网络和卫星出现以后，现有的协议在和它们相连的时候出现了问题，所以需要一种新的参考体系结构。这个体系结构在它的两个主要协议出现以后，被称为TCP/IP参考模型（TCP/IP reference model）。
-
由于国防部担心他们一些重要的主机、路由器和互联网关可能会突然崩溃，所以网络必须实现的另一目标是网络不受子网硬件损失的影响，已经建立的会话不会被取消，而且整个体系结构必须相当灵活。
-
TCP/IP是一组用于实现网络互连的通信协议。Internet网络体系结构以TCP/IP为核心。基于TCP/IP的参考模型将协议分成四个层次，它们分别是：网络访问层、网际互联层（主机到主机）、传输层、和应用层。
两模型对比
- 共同点
（1）OSI参考模型和TCP/IP参考模型都采用了层次结构的概念。
（2）都能够提供面向连接和无连接两种通信服务机制。
- 不同点
（1）OSI采用的七层模型，而TCP/IP是四层结构。
（2）TCP/IP参考模型的网络接口层实际上并没有真正的定义，只是一些概念性的描述。而OSI参考模型不仅分了两层，而且每一层的功能都很详尽，甚至在数据链路层又分出一个介质访问子层，专门解决局域网的共享介质问题。
（3）OSI模型是在协议开发前设计的，具有通用性。TCP/IP是先有协议集然后建立模型，不适用于非TCP/IP网络。
（4）OSI参考模型与TCP/IP参考模型的传输层功能基本相似，都是负责为用户提供真正的端对端的通信服务，也对高层屏蔽了底层网络的实现细节。所不同的是TCP/IP参考模型的传输层是建立在网络互联层基础之上的，而网络互联层只提供无连接的网络服务，所以面向连接的功能完全在TCP协议中实现，当然TCP/IP的传输层还提供无连接的服务，如UDP；相反OSI参考模型的传输层是建立在网络层基础之上的，网络层既提供面向连接的服务，又提供无连接的服务，但传输层只提供面向连接的服务。
（5）OSI参考模型的抽象能力高，适合与描述各种网络；而TCP/IP是先有了协议，才制定TCP/IP模型的。
（6）OSI参考模型的概念划分清晰，但过于复杂；而TCP/IP参考模型在服务、接口和协议的 区别上不清楚，功能描述和实现细节混在一起。
（7）TCP/IP参考模型的网络接口层并不是真正的一层；OSI参考模型的缺点是层次过多，划分意义不大但增加了复杂性。
（8）OSI参考模型虽然被看好，由于没把握好时机，技术不成熟，实现困难；相反，TCP/IP参考模型虽然有许多不尽人意的地方，但还是比较成功的。
Http
- 超文本传输协议（Hypertext Transfer Protocol，HTTP）是一个简单的请求-响应协议，它通常运行在TCP之上。它指定了客户端可能发送给服务器什么样的消息以及得到什么样的响应。请求和响应消息的头以ASCII形式给出；而消息内容则具有一个类似MIME的格式。这个简单模型是早期Web成功的有功之臣，因为它使开发和部署非常地直截了当。
Https
-
HTTPS （全称：Hyper Text Transfer Protocol over SecureSocket Layer），是以安全为目标的 HTTP 通道，在HTTP的基础上通过传输加密和身份认证保证了传输过程的安全性 [1] 。HTTPS 在HTTP 的基础下加入SSL，HTTPS 的安全基础是 SSL，因此加密的详细内容就需要 SSL。 HTTPS 存在不同于 HTTP 的默认端口及一个加密/身份验证层（在 HTTP与 TCP 之间）。这个系统提供了身份验证与加密通讯方法。它被广泛用于万维网上安全敏感的通讯，例如交易支付等方面。
-
Https = Http + SSL , Https 是在Http 的基础上加上SSL保护壳，信息的加密过程就是在SSL 中完成的。
-
Https 是以安全为目标的Http通道，简单讲是Http的安全版。安全基础是SSL。
-
SSL:是一个协议主要用于web的安全传输协议。
Https 的优缺点
- 优点
- 使用 HTTPS 协议可认证用户和服务器，确保数据发送到正确的客户机和服务器 ；
- HTTPS 协议是由 SSL+HTTP构建的可进行加密传输、身份认证的网络协议，要比 HTTP安全，可防止数据在传输过程中被窃取、改变，确保数据的完整性 。
- HTTPS 是现行架构下最安全的解决方案，虽然不是绝对安全，但它大幅增加了中间人攻击的成本。
- 缺点
- 相同网络环境下，HTTPS 协议会使页面的加载时间延长近 50%，增加 10%到 20%的耗电。此外，HTTPS 协议还会影响缓存，增加数据开销和功耗 。
- HTTPS 协议的安全是有范围的，在黑客攻击、拒绝服务攻击和服务器劫持等方面几乎起不到什么作用 。
- 最关键的是，SSL 证书的信用链体系并不安全。特别是在某些国家可以控制 CA 根证书的情况下，中间人攻击一样可行 。
- 成本增加。部署 HTTPS 后，因为 HTTPS 协议的工作要增加额外的计算资源消耗，例如 SSL 协议加密算法和 SSL 交互次数将占用一定的计算资源和服务器成本。在大规模用户访问应用的场景下，服务器需要频繁地做加密和解密操作，几乎每一个字节都需要做加解密，这就产生了服务器成本。随着云计算技术的发展，数据中心部署的服务器使用成本在规模增加后逐步下降，相对于用户访问的安全提升，其投入成本已经下降到可接受程度 。
万维网WWW
- 万维网WWW（World Wide Web）发源于欧洲日内瓦量子物理实验室CERN，正是WWW技术的出现使得因特网得以超乎想象的速度迅猛发展。这项基于TCP/IP的技术在短短的十年时间内迅速成为已经发展了几十年的Internet上的规模最大的信息系统，它的成功归结于它的简单、实用。在WWW的背后有一系列的协议和标准支持它完成如此宏大的工作，这就是Web协议族，其中就包括HTTP超文本传输协议。
- 在1990年，HTTP就成为WWW的支撑协议。当时由其创始人WWW之父蒂姆·贝纳斯·李（TimBerners—Lee）提出，随后WWW联盟（WWW Consortium）成立，组织了IETF（Internet Engineering Task Force）小组进一步完善和发布HTTP。
Http 请求
- 请求行
- headers（请求头部）
- body（请求数据）
- 请求最多包含四部分，最少包含三部分。(也就是说第四部分可以为空)第三部分永远都是一个回车(\n)
- 第一部分叫请求行，第二部分叫首部行，第三部分叫空行，第四部分叫做实体主体
请求方法
根据HTTP标准，HTTP请求可以使用多种请求方法。
HTTP 0.9：只有基本的文本 GET 功能。
HTTP 1.0：完善的请求/响应模型，并将协议补充完整，定义了三种请求方法： GET, POST 和 HEAD方法。
HTTP 1.1：在 1.0 基础上进行更新，新增了五种请求方法：OPTIONS, PUT, DELETE, TRACE 和 CONNECT 方法。
HTTP 2.0（未普及）：请求/响应首部的定义基本没有改变，只是所有首部键必须全部小写，而且请求行要独立为 :method、:scheme、:host、:path这些键值对。
| 序号 | 方法 | 描述 |
|---|---|---|
| 1 | GET | 请求指定的页面信息，并返回实体主体。 |
| 2 | HEAD | 类似于get请求，只不过返回的响应中没有具体的内容，用于获取报头 |
| 3 | POST | 向指定资源提交数据进行处理请求（例如提交表单或者上传文件），数据被包含在请求体中。POST请求可能会导致新的资源的建立和/或已有资源的修改。 |
| 4 | PUT | 从客户端向服务器传送的数据取代指定的文档的内容。 |
| 5 | DELETE | 请求服务器删除指定的页面。 |
| 6 | CONNECT | HTTP/1.1协议中预留给能够将连接改为管道方式的代理服务器。 |
| 7 | OPTIONS | 允许客户端查看服务器的性能。 |
| 8 | TRACE | 回显服务器收到的请求，主要用于测试或诊断。 |
请求行
-
请求行分为三个部分：请求方法、请求地址和协议版本。
-
请求方法
HTTP/1.1 定义的请求方法有8种：GET、POST、PUT、DELETE、PATCH、HEAD、OPTIONS、TRACE。
最常的两种GET和POST，如果是RESTful接口的话一般会用到GET、POST、DELETE、PUT。
-
请求地址
URL:统一资源定位符，是一种自愿位置的抽象唯一识别方法。
组成：<协议>：//<主机>：<端口>/<路径>
端口和路径有时可以省略（HTTP默认端口号是80）
-
协议版本
协议版本的格式为：HTTP/主版本号.次版本号，常用的有HTTP/1.0和HTTP/1.1
headers（请求头部）
- 常见请求头如下：
- 请求头部的最后会有一个空行，表示请求头部结束，接下来为请求数据，这一行非常重要，必不可少。
body（请求数据）
http请求常见词组
General 全部的
Request URL 请求的地址
Request Method 请求的方式 (get post)
Status Code 状态码
Response Headers 服务器的响应
Request Headers 服务器的请求
HOST:www.baidu.com（主机和端口号）对应的网址
Connection: keep-alive(链接类型)
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML,
like Gecko) Chrome/87.0.4280.141 Safari/537.36 （用户代理）
Accept:
text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,imag
e/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9 （传输文件的类型）
Referer:(页面的跳转处)
Cookie:(记录了用户相关的信息)
Query String Paramerers 请求地址的参数
http响应
- 状态行
- headers（响应头部）
- body（响应数据）
状态行
-
由3部分组成，分别为：协议版本，状态码，状态码描述。
-
其中协议版本与请求报文一致，状态码描述是对状态码的简单描述，所以这里就只介绍状态码。
状态码
状态代码为3位数字。
1xx：指示信息–表示请求已接收，继续处理。
2xx：成功–表示请求已被成功接收、理解、接受。
3xx：重定向–要完成请求必须进行更进一步的操作。
4xx：客户端错误–请求有语法错误或请求无法实现。
5xx：服务器端错误–服务器未能实现合法的请求。
下面列举几个常见的：
headers（响应头部）
- 常见响应头部如下：
body（响应数据）
End ! Best wishes for you！
8310
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
