HTTP协议

HTTP协议

一.http协议

1.http相关概念

**互联网：**是网络的网络，是所有网络类型的母集

**因特网：**世界上最大的互联网网络。即因特网概念从属于互联网。

**万维网：**WWW（world wide web）万维网并非计算机网络，是一个大规模的，联机式的信息存储库，使用链接的方法能从因特网上的一个站点访问另一个站点，具有提供分布式服务的特点。

**URL：**万维网使用统一资源定位符来标志万维网上的各种文档，并使每个文档在整个因特网范围内具有唯一的标识符URL

**HTTP：**为解决"用什么样的网络协议来实现整个因特网上的万维网文档”这一难题，就要使万维网客户程序（以浏览器为主，但不限于浏览器）与万维网服务器程序之间的交互遵守严格的协议，即超文本传送协议（HyperText Transfer Protocol）。HTTP是处于应用层的协议，使用TCP传输层协议进行可靠的传送。因此，需要特别提醒的是，万维网是基于因特网的一种广泛因特网应用系统，且万维网采用的是HTTP（80/TCP）和 HTTPS（443/TCP）的传输协议，但因特网还有其他的网络应用系统（如：FTP、SMTP等等）

**HTML：**为了解决"怎样使不同作者创作的不同风格的万维网文档，都能在因特网上的各种主机上显示出来，同时使用户清楚地知道在什么地方存在着链接”这一问题，万维网使用超文本标记语言（HyperText Markup Language），使得万维网页面的设计者可以很方便地用链接从页面的某处链接到因特网的任何一个万维网页面，并且能够在自己的主机品目上将这些页面显示出来。HTML与txt一样，仅仅是是一种文档，不同之处在于，这种文档专供于浏览器上为浏览器用户提供统一的界面呈现的统一规约。且具备结构化的特征，这是txt所不具备的强制规定。

2.浏览器访问的过程

1.DNS解析
简单来说就是解析域名得到服务端ip地址再返回给客户端解析访问

2.TCP链接

三次握手，与客户端建立连接的过程

3.HTTP请求

若需要访问HTTP访问，需要建立http连接

4.浏览器的渲染处理

构建DOM，CSSOM，渲染树，合成绘制

3.HTTP相关技术

WEB开发语言

• html
• css
• javascript

html

Hyper Text Markup Language 超文本标记语言，编程语言，主要负责实现页面的结构

CSS

Cascading Style Sheet 层叠样式表， 定义了如何显示（装扮） HTML 元素，比如：字体大小和颜色属性等。样式通常保存在外部的 .css 文件中,用于存放一些HTML文件的公共属性,从而通过仅编辑一个简单的 CSS 文档，可以同时改变站点中所有页面的布局和外观。

js

javascript，实现网页的动画效果，但实属于静态资源。

4.MIME

MIME : Multipurpose Internet Mail Extensions 多用途互联网邮件扩展

文件 /etc/mime.types ,来自于mailcap包

MIME格式：type/subtype 主要类型/次要类型

text/plain   
text/html  
text/css 
image/jpeg   jpg jpeg
image/png 
video/mp4 
application/javascript

通过指定MIME类型为text/html，服务器可以告诉浏览器接收到的数据是HTML格式的网页，浏览器会相应地解析和显示该网页

5.URI和URL

URI： Uniform Resource Identifier 统一资源标识，分为URL 和 URN

**URN：**Uniform Resource Naming，统一资源命名

magnet:?xt=urn:btih:660557A6890EF888666（只是描述了资源的名字，并没有明确该资源在哪里）

**URL：**Uniform Resorce Locator，统一资源定位符，用于描述某服务器某特定资源位置

两者区别：

• URN如同一个人的名称，而URL代表一个人的住址。换言之，URN定义某事物的身份，而URL提供查找该事物的方法。URN仅用于命名，而不指定地URL组成

URL示例

http://www.yyds.com:80/xxxxxx/xxxx

提供  http服务软件的根  不是操作系统真正的根



http      /var/www/html  
          /data/
          
          
http://apache.org/index.html#projects-list

https://list.jd.com/list.html?cat=670,671,672&ev=14_2&sort=sort_totalsales15_desc&trans=1

6.网站访问量

网站访问量统计的重要指标

• IP(独立IP)：即Internet Protocol,指独立IP数。一天内来自相同客户机IP 地址只计算一次，记录远程客户机IP地址的计算机访问网站的次数，是衡量网站流量的重要指标
• PV(访问量)： 即Page View, 页面浏览量或点击量，用户每次刷新即被计算一次，PV反映的是浏览某网站的页面数，PV与来访者的数量成正比，PV并不是页面的来访者数量，而是网站被访问的页面数量
• UV(独立访客)：即Unique Visitor,访问网站的一台电脑为一个访客。一天内相同的客户端只被计算一次。可以理解成访问某网站的电脑的数量。网站判断来访电脑的身份是通过cookies实现的。如果更换了IP后但不清除cookies，再访问相同网站，该网站的统计中UV数是不变的

7.HTTP工作机制

一次http事务包括：

• **http请求：**http request
• **http响应：**http response

**web资源：**一个网页由多个资源（文件）构成，打开一个页面，通常会有多个资源展示出来，但是每个资源都要单独请求。因此，一个"Web 页面”通常并不是单个资源，而是一组资源的集合

资源类型：

• 静态文件：无需服务端做出额外处理,服务器端和客户端的文件内容相同

  常见文件后缀：.html, .txt, .jpg, .js, .css, .mp3, .avi

• 动态文件：服务端执行程序，返回执行的结果,服务器端和客户端的文件内容不相同

  常见文件后缀：.php, .jsp ,.asp

HTTP连接请求：

1.串行连接

一次请求对应一次连接

2.并行连接

通过多条TCP连接发起并发的HTTP请求

3.持久连接

keep-alive，重用TCP连接，以消除连接和关闭的时延,以事务个数和时间来决定是否关闭连接

4.管道化连接

通过共享TCP连接，发起并发的HTTP请求

5.复用的连接

交替传送请求和响应报文（实验阶段）

8.HTTP协议版本

http/0.9：

1991，原型版本，功能简陋，只有一个命令GET。GET /index.html ,服务器只能回应HTML格式字符串，不能回应别的格式

http/1.0

每个TCP连接只能发送一个请求，发送数据完毕，连接就关闭，如果还要请求其他资源，就必须再新建一个连接引入了POST命令和HEAD命令头信息是 ASCII 码，后面数据可为任何格式。服务器回应时会告诉客户端，数据是什么格式，即Content-Type字段的作用。这些数据类型总称为MIME 多用途互联网邮件扩展，每个值包括一级类型和二级类型，预定义的类型，也可自定义类型, 常见Content-Type值：text/xml image/jpeg audio/mp3

http/1.1

1997年1月，引入了持久连接（persistent connection），即TCP连接默认不关闭，可以被多个请求复用，不用声明Connection: keep-alive。对于同一个域名，大多数浏览器允许同时建立6个持久连接引入了管道机制，即在同一个TCP连接里，客户端可以同时发送多个请求，进一步改进了HTTP协议的效率新增方法：PUT、PATCH、OPTIONS、DELETE同一个TCP连接里，所有的数据通信是按次序进行的。服务器只能顺序处理回应，前面的回应慢，会有许多请求排队，造成"队头堵塞"（Head-of-line blocking）为避免上述问题，两种方法：一是减少请求数，二是同时多开持久连接。网页优化技巧，如合并脚本和样式表、将图片嵌入CSS代码、域名分片（domain sharding）等HTTP 协议不带有状态，每次请求都必须附上所有信息。请求的很多字段都是重复的，浪费带宽，影响速度

HTTPS协议：

为解决安全问题，网景在1994年创建了HTTPS，并应用在网景导航者浏览器中。 最初，HTTP是与SSL一起使用的；在SSL逐渐演变到TLS时（其实两个是一个东西，只是名字不同而已），最新的HTTPS也由在2000年五月公布的RFC 2818正式确定下来。HTTPS就是安全版的HTTP，目前大型网站基本实现全站HTTPS

9.HTTP请求访问的过程

1.建立连接

客户端与服务端进行连接

2.接收请求

接收客户端请求报文中对某资源的一次请求的过程

3.处理请求

服务器对请求报文进行解析，并获取请求的资源及请求方法等相关信息，根据方法，资源，首部和可选的主体部分对请求进行处理

常用请求：GET、POST、HEAD、PUT、DELETE、TRACE、OPTIONS

4.访问资源

服务器获取请求报文中请求的资源web服务器，即存放了web资源的服务器，负责向请求者提供对方请求的静态资源，或动态运行后生成的资源

5.构建响应报文

一旦Web服务器识别除了资源，就执行请求方法中描述的动作，并返回响应报文。响应报文中 包含有响应状态码、响应首部，如果生成了响应主体的话，还包括响应主体

1）响应实体：如果事务处理产生了响应主体，就将内容放在响应报文中回送过去。响应报文中通常包括：

描述了响应主体MIME类型的Content-Type首部

描述了响应主体长度的Content-Length

实际报文的主体内容

2）URL重定向：web服务构建的响应并非客户端请求的资源，而是资源另外一个访问路径

3）MIME类型： Web服务器要负责确定响应主体的MIME类型。多种配置服务器的方法可将MIME类型与资源管理起来

6.发送响应报文

Web服务器通过连接发送数据时也会面临与接收数据一样的问题。服务器可能有很多条到各个客户端的连接，有些是空闲的，有些在向服务器发送数据，还有一些在向客户端回送响应数据。服务器要记录连接的状态，还要特别注意对持久连接的处理。对非持久连接而言，服务器应该在发送了整条报文之后，关闭自己这一端的连接。对持久连接来说，连接可能仍保持打开状态，在这种情况下，服务器要正确地计算Content-Length首部，不然客户端就无法知道响应什么时候结束

7.记录日志

记录此次访问的相关信息

10.http协议及报文头部结构

http协议：stateless 无状态, 服务器无法持续追踪访问者来源

解决http协议无状态方法

• cookie 客户端存放
• session 服务端存放

http事务：一次访问的过程

• 请求：request
• 响应：response

HTTP报文结构

协议查看或分析的工具：tcpdump, wireshark,tshark

1.HTTP请求报文

方法：

• GET： 获取资源 当前网络请求中，绝大部分使用的是 GET 方
• HEAD： 获取报文首部，主要用于确认 URL 的有效性以及资源更新的日期时间等
• POST： 传输实体主体 （比如传输 用户名密码）
• PUT： 上传文件（比如写博客）
• PATCH： 对资源进行部分修改
• DELETE：删除文件
• OPTIONS：查询支持的方法（查看服务端可以支持哪些方法）
• CONNECT：要求在与代理服务器通信时建立隧道（类似加密）
• TRACE：追踪路径

url：指明资源的具体位置

<scheme>://<user>:<password>@<host>:<port>/<path>;<params>?<query>#<frag>

• scheme

  • http 超文本传输协议
  • https 安全的http协议
  • ftp 文件传输协议

• user：帐号

• password：密码

• host：主机名 或 域名 或 ip地址

• port： 服务器端口号

• path：访问资源的路径，相当于组件路径

• params：参数，但是这个不常用，指定一些参数，譬如指定传输方式

• qurey：查询参数

• frag：html资源片段，譬如html文档过大的时候，frag定位到html的一部分

• 首部字段：使用首部字段是为了给浏览器和服务器提供报文主体大小、所使用的语言、认证信息等内容，HTTP 首部字段是由首部字段名和字段值构成的，中间用冒号“:” 分隔

  首部的分类：

  • 通用首部:请求报文和响应报文两方都会使用的首部
    • Date: 报文的创建时间
    • Connection：连接状态，如keep-alive, close
    • Via：显示报文经过的中间节点（代理，网关）
    • Cache-Control：控制缓存，如缓存时长
    • MIME-Version:发送端使用的MIME版本
    • Warning：错误通知
  • 请求首部:从客户端向服务器端发送请求报文时使用的首部。补充了请求的附加内容、客户端信息、请求内容相关优先级等信息
    • Accept：通知服务器自己可接受的媒体类型
    • Accept-Charset： 客户端可接受的字符集
    • Accept-Encoding：客户端可接受编码格式，如gzip
    • Accept-Language：客户端可接受的语言
    • Client-IP: 请求的客户端IP
    • Host: 请求的服务器名称和端口号
    • Referer：跳转至当前URI的前一个URL
    • User-Agent：客户端代理，浏览器版本
    • Expect：允许客户端列出某请求所要求的服务器行为（条件式请求首部）
    • If-Modified-Since：自从指定的时间之后，请求的资源是否发生过修改（条件式请求首部）
    • If-Unmodified-Since：与上面相反（条件式请求首部）
    • If-None-Match：本地缓存中存储的文档的ETag标签是否与服务器文档的Etag不匹配（条件式请求首部）
    • If-Match：与上面相反 （条件式请求首部）
    • Authorization：向服务器发送认证信息，如账号和密码（安全请求首部）
    • Cookie: 客户端向服务器发送cookie
    • Proxy-Authorization: 向代理服务器认证 （ 代理请求首部）
  • 响应首部：从服务器端向客户端返回响应报文时使用的首部。补充了响应的附加内容，也会要求客户端附加额外的内容信息
    • 协商首部：某资源有多种表示方法时使用
      • Accept-Ranges：服务器可接受的请求范围类型
      • Vary：服务器查看的其它首部列表
    • 安全响应首部：
      • Set-Cookie：向客户端设置cookie
      • WWW-Authenticate：来自服务器对客户端的质询列表
    • 信息性：
      • Age：从最初创建开始，响应持续时长
      • Server：服务器程序软件名称和版本
  • 实体首部：针对请求报文和响应报文的实体部分使用的首部。补充了资源内容更新时间等与实体有关的的信息
    • 缓存相关：
      • ETag：实体的扩展标签
      • Expires：实体的过期时间
      • Last-Modified：最后一次修改的时间
    • Allow: 列出对此资源实体可使用的请求方法
    • Location：告诉客户端真正的实体位于何处
    • Content-Encoding:对主体执行的编码
    • Content-Language:理解主体时最适合的语言
    • Content-Location: 实体真正所处位置
    • Content-Type：主体的对象类型，如text
  • 扩展首部

• 实体：请求时附加的数据或响应时附加的数据，例如：登录网站时的用户名和密码，博客的上传文章，论坛上的发言等。

request报文格式

<method> <request-URL> <version>
<headers>
<entity-body>

GET /xxxx HTTP/1.1
Accept: */*
Accept-Encoding: gzip, deflate
Connection: keep-alive
Host: www.magedu.com
User-Agent: HTTPie/0.9.4

可以使用抓包查看 方法是 get 没有实体

2.响应报文

response报文格式

<version> <status> <reason-phrase>
<headers>
<entity-body>

 curl   -v   192.168.82.100 |head
 
 HTTP/1.1 200 OK
Cache-Control: max-age=3, must-revalidate
Connection: keep-alive
Content-Encoding: gzip
Content-Type: text/html; charset=UTF-8
Date: Thu, 07 Nov 2019 03:44:14 GMT
Server: Tengine
Transfer-Encoding: chunked
Vary: Accept-Encoding
Vary: Accept-Encoding, Cookie

1.状态码

http协议状态码分类

1xx：100-101 信息提示
2xx：200-206 成功
3xx：300-307 重定向
4xx：400-415 错误类信息，客户端错误
5xx：500-505 错误类信息，服务器端错误

http协议常用的状态码

200： 成功，请求数据通过响应报文的entity-body部分发送;OK
301： 请求的URL指向的资源已经被删除；但在响应报文中通过首部Location指明了资源现在所处的新位置；Moved Permanently
302： 响应报文Location指明资源临时新位置 Moved Temporarily
304： 客户端发出了条件式请求，但服务器上的资源未曾发生改变，则通过响应此响应状态码通知客户端；Not Modified
307:  浏览器内部重定向
401： 需要输入账号和密码认证方能访问资源；Unauthorized
403： 请求被禁止；Forbidden
404： 服务器无法找到客户端请求的资源；Not Found
500： 服务器内部错误；Internal Server Error,比如:cgi程序没有执行权限
502： 代理服务器从后端服务器收到了一条伪响应，如无法连接到网关；Bad Gateway
503： 服务不可用，临时服务器维护或过载，服务器无法处理请求,比如:php服务停止,无法处理php程序
504： 网关超时

二.http安装组成

1.常见的http服务器程序

• httpd apache，存在C10K（10K connections）问题
• nginx 解决C10K问题lighttpd
• IIS .asp 应用程序服务器
• tomcat .jsp 应用程序服务器
• jetty 开源的servlet容器，基于Java的web容器
• Resin CAUCHO公司，支持servlets和jsp的引擎
• webshpere：IBM公司
• weblogic：BEA，Oracle
• jboss：RedHat，IBM
• oc4j：Oracle

2.apache介绍和特点

20世纪90年代初，美国国家超级计算机应用中心NCSA开发,1995年开源社区发布apache

apache 名字来源，流传最广的解释是（也是最显而易见的）：这个名字来自于一个事实：当Apache在1995年初开发的时候，它是由当时最流行的HTTP服务器NCSA HTTPd 1.3的代码修改而成的，因此是"一个修补的（a patchy）”服务器。

软件基金会

• ASF：apache software foundation
• FSF：Free Software Foundation

apache 功能：

• 提供http协议服务
• 多个虚拟主机：IP、Port、FQDN
• CGI：Common Gateway Interface，通用网关接口,支持动态程序
• 反向代理
• 负载均衡
• 路径别名
• 丰富的用户认证机制：basic，digest
• 支持第三方模块

apache 功能：

• 提供http协议服务
• 多个虚拟主机：IP、Port、FQDN
• CGI：Common Gateway Interface，通用网关接口,支持动态程序
• 反向代理
• 负载均衡
• 路径别名
• 丰富的用户认证机制：basic，digest
• 支持第三方模块

apache特性：

• 高度模块化：core + modules
• DSO：Dynamic Shared Object 动态加载/卸载
• MPM：multi-processing module 多路处理模块

3.MPM multi-processing module** 工作模式

**prefork：**多进程I/O模型，每个进程响应一个请求，CentOS 7 httpd默认模型一个主进程：生成和回收n个子进程，创建套接字，不响应请求多个子进程：工作 work进程，每个子进程处理一个请求；系统初始时，预先生成多个空闲进程，等待请求

Prefork MPM预派生模式，有一个主控制进程，然后生成多个子进程,每个子进程有一个独立的线程响应用户请求，相对比较占用内存，但是比较稳定，可以设置最大和最小进程数，是最古老的一种模式，也是最稳定的模式，适用于访问量不是很大的场景

优点：稳定

缺点：慢，占用资源，不适用于高并发场景

worker：复用的多进程I/O模型,多进程多线程，IIS使用此模型

一个主进程：生成m个子进程，每个子进程负责生个n个线程，每个线程响应一个请求，并发响应请求：m*n

worker MPM是一种多进程和多线程混合的模型，有一个控制进程，启动多个子进程，每个子进程里面包含固定的线程，使用线程程来处理请求，当线程不够使用的时候会再启动一个新的子进程，然后在进程里面再启动线程处理请求，由于其使用了线程处理请求，因此可以承受更高的并发。

优点：相比prefork 占用的内存较少，可以同时处理更多的请求

缺点：使用keep-alive的长连接方式，某个线程会一直被占据，即使没有传输数据，也需要一直等待到超时才会被释放。如果过多的线程，被这样占据，也会导致在高并发场景下的无服务线程可用。（该问题在prefork模式下，同样会发生）

event：事件驱动模型（worker模型的变种），CentOS8 默认模型

一个主进程：生成m个子进程，每个子进程负责生个n个线程，每个线程响应一个请求，并发响应请求：m*n，有专门的监控线程来管理这些keep-alive类型的线程，当有真实请求时，将请求传递给服务线程，执行完毕后，又允许释放。这样增强了高并发场景下的请求处理能力

event MPM是Apache中最新的模式，2012年发布的apache 2.4.X系列正式支持event 模型. 属于事件驱动模型(epoll)，每个进程响应多个请求，在现在版本里的已经是稳定可用的模式。它和worker模式很像，最大的区别在于，它解决了keep-alive场景下，长期被占用的线程的资源浪费问题（某些线程因为被keep-alive，空挂在哪里等待，中间几乎没有请求过来，甚至等到超时）。event MPM中，会有一个专门的线程来管理这些keep-alive类型的线程，当有真实请求过来的时候，将请求传递给服务线程，执行完毕后，又允许它释放。这样增强了高并发场景下的请求处理能力event只在有数据发送的时候才开始建立连接，连接请求才会触发工作线程，即使用了TCP的一个选项，叫做延迟接受连接TCP_DEFER_ACCEPT，加了这个选项后，若客户端只进行TCP连接，不发送请求，则不会触发Accept操作，也就不会触发工作线程去干活，进行了简单的防攻击（TCP连接）

优点：单线程响应多请求，占据更少的内存，高并发下表现更优秀，会有一个专门的线程来管理keep-alive类型的线程，当有真实请求过来的时候，将请求传递给服务线程，执行完毕后，又允许它释放

缺点：没有线程安全控制

httpd-2.4：event 稳定版，centos7 以后默认

httpd-2.2：event 测试版，centos6 默认

4.httpd安装和相关文件

版本说明：

CentOS 7 以上，默认系统是httpd 2.4，CentOS 6 版默认为httpd 2.2

Ubuntu 18.04 默认 Apache/2.4.29

安装方式：

• 包安装: centos发行版，稳定，建议使用
• 编译：定制或特殊需求

1.httpd-2.4 相关文件

配置文件：

• /etc/httpd/conf/httpd.conf 主配置文件
• /etc/httpd/conf.d/*.conf 子配置文件
• /etc/httpd/conf.d/conf.modules.d/ 模块加载的配置文件

检查配置语法：httpd -t

服务单元文件：

• /usr/lib/systemd/system/httpd.service
• 配置文件：/etc/sysconfig/httpd

服务控制和启动

• systemctl enable|disable httpd.service
• systemctl {start|stop|restart|status|reload} httpd.service
• apachectl start|stop|restart|configtest
• service httpd start|stop|restart|configtest

站点网页文档根目录：/var/www/html

模块文件路径：

• /etc/httpd/modules
• /usr/lib64/httpd/modules

主服务器程序文件：/usr/sbin/httpd

三.httpd常见配置

1.指定服务器名

[root@localhost ~]#httpd -t
AH00558: httpd: Could not reliably determine the server's fully qualified domain name, using localhost.localdomain. Set the 'ServerName' directive globally to suppress this message
Syntax OK

[root@localhost ~]#vim /etc/httpd/conf/httpd.conf

#ServerName www.example.com:80
ServerName www.magedu.org
[root@localhost ~]#httpd -t
Syntax OK

2.包含其他配置文件

说明：

• Include和IncludeOptional功能相同，都可以包括其它配置文件
• 但是当无匹配文件时，include会报错，IncludeOptional会忽略错误

Include file-path|directory-path|wildcard
IncludeOptional file-path|directory-path|wildcard

include 子配置文件

[root@localhost ~]#grep -i include /etc/httpd/conf/httpd.conf
Include conf.modules.d/*.conf
    #   Indexes Includes FollowSymLinks SymLinksifOwnerMatch ExecCGI MultiViews
# Possible values include: debug, info, notice, warn, error, crit,
    # If you include a trailing / on /webpath then the server will
    # To parse .shtml files for server-side includes (SSI):
    # (You will also need to add "Includes" to the "Options" directive.)
    AddOutputFilter INCLUDES .shtml
IncludeOptional conf.d/*.conf
[root@localhost ~]#

总目录

[root@localhost ~]#grep -i serverroot /etc/httpd/conf/httpd.conf
# with "/", the value of ServerRoot is prepended -- so 'log/access_log'
# with ServerRoot set to '/www' will be interpreted by the
# ServerRoot: The top of the directory tree under which the server's
# ServerRoot at a non-local disk, be sure to specify a local disk on the
# same ServerRoot for multiple httpd daemons, you will need to change at
ServerRoot "/etc/httpd"

3.监听地址

Listen [IP:]PORT

说明：

(1) 省略IP表示为本机所有IP

(2) Listen指令至少一个，可重复出现多次

Listen   192.168.82.100:8080
Lsten    80


vim /etc/httpd/conf.d/test.conf
Listen 8080

4.隐藏服务器版本信息

[root@localhost ~]#curl -I 192.168.82.100:80
HTTP/1.1 403 Forbidden
Date: Mon, 21 Aug 2023 10:55:05 GMT
Server: Apache/2.4.6 (CentOS)
Last-Modified: Thu, 16 Oct 2014 13:20:58 GMT
ETag: "1321-5058a1e728280"
Accept-Ranges: bytes
Content-Length: 4897
Content-Type: text/html; charset=UTF-8

[root@localhost httpd]#vim conf.d/test.conf
Listen 8080
ServerTokens Prod

[root@localhost ~]#curl -I 192.168.82.100:80
HTTP/1.1 403 Forbidden
Date: Mon, 21 Aug 2023 10:59:38 GMT
Server: Apache
Last-Modified: Thu, 16 Oct 2014 13:20:58 GMT
ETag: "1321-5058a1e728280"
Accept-Ranges: bytes
Content-Length: 4897
Content-Type: text/html; charset=UTF-8
//不显示版本

5.持久连接

Persistent Connection：连接建立，每个资源获取完成后不会断开连接，而是继续等待其它的请求完成，默认开启持久连接

断开条件：

• 时间限制：以秒为单位， 默认5s，httpd-2.4 支持毫秒级
• 请求数量: 请求数达到指定值,也会断开

副作用：对并发访问量大的服务器，持久连接会使有些请求得不到响应

折中：使用较短的持久连接时间

持久连接相关指令：

KeepAlive On|Off
KeepAliveTimeout 15      #连接持续15s,可以以ms为单位,默认值为5s
MaxKeepAliveRequests 500  #持久连接最大接收的请求数,默认值100

测试方法
telnet WEB_SERVER_IP PORT
GET /URL HTTP/1.1
Host: WEB_SERVER_IP


GET /test1 HTTP/1.1
host: 1.1.1.1   

[root@localhost httpd]#vim conf.d/test.conf

Listen 8080
ServerTokens Prod
MaxKeepAliveRequests 1
KeepAliveTimeout 15


另一台主机
telnet IP 端口
GET /URL HTTP/1.1
host:1.1.1.1

6. DSO (Dynamic Shared Object)

Dynamic Shared Object，加载动态模块配置，不需重启即生效动态模块所在路径： /usr/lib64/httpd/modules/

主配置 /etc/httpd/conf/httpd.conf 文件中指定加载模块配置文件

ServerRoot "/etc/httpd"
Include conf.modules.d/*.conf

配置指定实现模块加载格式：

LoadModule <mod_name> <mod_path>

模块文件路径可使用相对路径：相对于ServerRoot（默认/etc/httpd）

查看模块加载的配置文件

[root@localhost httpd]#ls /etc/httpd/conf.modules.d/
00-base.conf  00-dav.conf  00-lua.conf  00-mpm.conf  00-proxy.conf  00-systemd.conf  01-cgi.conf

[root@localhost httpd]#cat /etc/httpd/conf.modules.d/00-base.conf 
#
# This file loads most of the modules included with the Apache HTTP
# Server itself.
#

LoadModule access_compat_module modules/mod_access_compat.so
LoadModule actions_module modules/mod_actions.so
LoadModule alias_module modules/mod_alias.so
LoadModule allowmethods_module modules/mod_allowmethods.so
LoadModule auth_basic_module modules/mod_auth_basic.so
LoadModule auth_digest_module modules/mod_auth_digest.so
LoadModule authn_anon_module modules/mod_authn_anon.so
LoadModule authn_core_module modules/mod_authn_core.so
LoadModule authn_dbd_module modules/mod_authn_dbd.so
LoadModule authn_dbm_module modules/mod_authn_dbm.so
LoadModule authn_file_module modules/mod_authn_file.so
LoadModule authn_socache_module modules/mod_authn_socache.so
...............

**查看静态编译的模块：**httpd -l

**查看静态编译及动态装载的模块：**httpd -M

[root@localhost httpd]#rpm -ql httpd|grep basic
/usr/lib64/httpd/modules/mod_auth_basic.so
[root@localhost httpd]#httpd -M|grep basic
 auth_basic_module (shared)
[root@localhost httpd]#vim 00-base.conf
#LoadModule auth_basic_module modules/mod_auth_basic.so
//将第10行注释

[root@localhost conf.modules.d]#httpd -M|grep basic
[root@localhost conf.modules.d]#
就看不到 auth_basic_module (shared)

7.MPM多路处理模块

httpd 支持三种MPM工作模式：prefork, worker, event

[root@localhost conf.modules.d]#vim /etc/httpd/conf.modules.d/00-mpm.conf

# Select the MPM module which should be used by uncommenting exactly
# one of the following LoadModule lines:

# prefork MPM: Implements a non-threaded, pre-forking web server
# See: http://httpd.apache.org/docs/2.4/mod/prefork.html
LoadModule mpm_prefork_module modules/mod_mpm_prefork.so

# worker MPM: Multi-Processing Module implementing a hybrid
# multi-threaded multi-process web server
# See: http://httpd.apache.org/docs/2.4/mod/worker.html
#
#LoadModule mpm_worker_module modules/mod_mpm_worker.so

# event MPM: A variant of the worker MPM with the goal of consuming
# threads only for connections with active processing
# See: http://httpd.apache.org/docs/2.4/mod/event.html
#
#LoadModule mpm_event_module modules/mod_mpm_event.so
//只能生效一种工作模式，所以其他要注释

8.prefork模式相关的配置

StartServers       100
MinSpareServers   50
MaxSpareServers   80
ServerLimit     2560 //最多进程数,最大值 20000
MaxRequestWorkers    2560 //最大的并发连接数，默认256
MaxConnectionsPerChild  4000 //子进程最多能处理的请求数量。在处理MaxRequestsPerChild 个
请求之后,子进程将会被父进程终止，这时候子进程占用的内存就会释放(为0时永远不释放）
MaxRequestsPerChild 4000  //从 httpd.2.3.9开始被MaxConnectionsPerChild代替

9.worker和event 模式相关的配置

ServerLimit         16  //最多worker进程数 Upper limit on configurable number of 
processes
StartServers        10  //Number of child server processes created at startup
MaxRequestWorkers  150  //Maximum number of connections that will be processed 
simultaneously
MinSpareThreads     25
MaxSpareThreads     75
ThreadsPerChild     25  //Number of threads created by each child process

10.定义Main server的文档页面路径

DocumentRoot   "/path”
<directory /path>
 Require all granted
</directory>

说明：

• DocumentRoot指向的路径为URL路径的起始位置
• /path 必须显式授权后才可以访问

URL和磁盘路径的映射关系
http://HOST:PORT/test/index.html  --> /data/html/test/index.html

11.定义站点默认主页面文件

DirectoryIndex index.php index.html
//优先级从左向右

12.虚拟主机

httpd 支持在一台物理主机上实现多个网站，即多虚拟主机

网站的唯一标识：

• IP相同，但端口不同
• IP不同，但端口均为默认端口
• FQDN不同, IP和端口都相同

多虚拟主机有三种实现方案：

• 基于ip：为每个虚拟主机准备至少一个ip地址
• 基于port：为每个虚拟主机使用至少一个独立的port
• 基于FQDN：为每个虚拟主机使用至少一个FQDN，请求报文中首部 Host:www.kgc.com

12.1基于IP地址

[root@localhost conf.modules.d]#vim /etc/httpd/conf.d/test.conf
Listen 80
ServerTokens Prod
MaxKeepAliveRequests 1
KeepAliveTimeout 15

<VirtualHost 192.168.82.100:80>
    ServerAdmin support@jfedu.net
    DocumentRoot "/var/www/html/accp"
    ServerName www.accp.com
    ErrorLog "logs/www.accp.com_error_log"
    CustomLog "logs/www.accp.com_access_log" common
</VirtualHost>

<VirtualHost 192.168.82.110:80>
    ServerAdmin support@jfedu.net
    DocumentRoot "/var/www/html/index.html"
    ServerName www.web.com
    ErrorLog "logs/www.web.com_error_log"
    CustomLog "logs/www.web.com_access_log" common
</VirtualHost>

<Directory "/var/www">
    AllowOverride None
    # Allow open access:
    Require all granted
</Directory>
//注意指定不同ip地址，即服务器至少拥有两个ip地址

12.2基于端口

[root@localhost conf.modules.d]#vim /etc/httpd/conf.d/test.conf
Listen 80
Listen 8080
ServerTokens Prod
MaxKeepAliveRequests 1
KeepAliveTimeout 15

<VirtualHost 192.168.82.100:80>
    ServerAdmin support@jfedu.net
    DocumentRoot "/var/www/html/accp"
    ServerName www.accp.com
    ErrorLog "logs/www.accp.com_error_log"
    CustomLog "logs/www.accp.com_access_log" common
</VirtualHost>

<VirtualHost 192.168.82.100:8080>
    ServerAdmin support@jfedu.net
    DocumentRoot "/var/www/html/index.html"
    ServerName www.web.com
    ErrorLog "logs/www.web.com_error_log"
    CustomLog "logs/www.web.com_access_log" common
</VirtualHost>

<Directory "/var/www">
    AllowOverride None
    # Allow open access:
    Require all granted
</Directory>

//注意开头端口号要写下面配置中的两个，而且主配置文件中的端口设置要注释掉，否则冲突

12.3 基于域名

[root@localhost conf.modules.d]#vim /etc/httpd/conf.d/test.conf
Listen 80
ServerTokens Prod
MaxKeepAliveRequests 1
KeepAliveTimeout 15

<VirtualHost 192.168.82.100:80>
    ServerAdmin support@jfedu.net
    DocumentRoot "/var/www/html/accp"
    ServerName www.accp.com
    ErrorLog "logs/www.accp.com_error_log"
    CustomLog "logs/www.accp.com_access_log" common
</VirtualHost>

<VirtualHost 192.168.82.100:80>
    ServerAdmin support@jfedu.net
    DocumentRoot "/var/www/html/index.html"
    ServerName www.web.com
    ErrorLog "logs/www.web.com_error_log"
    CustomLog "logs/www.web.com_access_log" common
</VirtualHost>

<Directory "/var/www">
    AllowOverride None
    # Allow open access:
    Require all granted
</Directory>

//只需要指明ServerName为不同域名，用户访问哪个域名就会去到哪个首页，此方法最为广泛

四.Cookie和session

无状态协议是指协议对事物处理没有记忆能力。缺少状态意味着如果后续处理需要前面的信息，则必须重传，这样可能导致每次连接传送的数据量增大。另一方面，在服务器不需要先前信息时它应答就很快。

HTTP协议这种特性有优点也有缺点，优点在于解放了服务器，每一次请求"点到为止"，不会造成不必要的连接占用，缺点在于如果为了保留状态，每次请求都会传输大量的重复信息内容。

可是随着 Web 的不断发展，很多业务都需要对通信状态进行保存.如果是一次性会话的过程： 打开浏览器 -> 访问一些服务器内容 -> 关闭浏览器但目前有很多WEB访问场景，并不是一次性会话，而是多次相关的会话，比如：

• 登录场景：

打开浏览器 -> 浏览到登陆页面 -> 输入用户名和密码 -> 访问到用户主页(显示用户名) -> 修改密码（输入原密码）-> 修改收货地址…

问题：在此处登录会话过程中产生的数据（用户会话数据）如何保存下来呢？

• 购物场景：

打开浏览器 -> 浏览商品列表 -> 加入购物车(把商品信息保存下来) -> 关闭浏览器打开浏览器-> 直接进入购物车 -> 查看到上次加入购物车的商品 -> 下订单 -> 支付

问题： 在购物会话过程中，如何保存商品信息？

以上场景都需要保留会话数据，需要会话管理机制。

会话管理： 管理浏览器客户端和服务器端之间会话过程中产生的会话数据。

为了会话管理，HTTP就需要传输大量重复信息内容的问题，造成大量的网络带宽消耗。于是 Cookie 和Session 技术闪亮登场了，它们可以为用户进行会话管理，实现保存状态。

1.cookie

类型为"小型文本文件”，指某些网站为了辨别用户身份而储存在用户本地终端（Client Side）上的数据（通常经过加密）。Cookie 技术通过在请求和响应报文中写入 Cookie 信息来控制客户端的状态。

Cookie基于HTTP协议，也叫Web Cookie或浏览器Cookie，是服务器发送到用户浏览器并保存在客户端本地的一小块数据，它会在浏览器下次向同一服务器再发起请求时被携带并发送到服务器上。

#第一次请求过程
浏览器第一次发送请求时,不会携带任何cookie信息
服务器接收到请求之后，发现请求中没有任何cookie信息
服务器生成和设置一个cookie.并将此cookie设置通过set_cookie的首部字段保存在响应报文中返回给浏
览器
浏览器接收到这个响应报文之后,发现里面有cookie信息,浏览器会将cookie信息保存起来
#第二次及其之后的过程
当浏览器第二次及其之后的请求报文中自动 cookie的首部字段携带第一次响应报文中获取的cookie信息
服务器再次接收到请求之后,会发现请求中携带的cookie信息,这样的话就认识是谁发的请求了
之后的响应报文中不会再添加set_cookie首部字段

Cookie主要用于以下三个方面：

• 会话状态管理（如用户登录状态、购物车、游戏分数或其它需要记录的信息）
• 个性化设置（如用户自定义设置、主题等）
• 浏览器行为跟踪（如跟踪分析用户行为等）

2.session

cookie和session的相同和不同：

• cookie通常是在服务器生成,但也可以在客户端生成,session是在服务器端生成的
• session 将数据信息保存在服务器端，可以是内存，文件，数据库等多种形式,cookie 将数据保存在客户端的内存或文件中
• 单个cookie保存的数据不能超过4K，每个站点cookie个数有限制，比如IE8为50个、Firefox为50个、Opera为30个；session存储在服务器，没有容量限制
• cookie存放在用户本地，可以被轻松访问和修改，安全性不高；session存储于服务器，比较安全
• cookie有会话cookie和持久cookie，生命周期为浏览器会话期的会话cookie保存在缓存，关闭浏览器窗口就消失，持久cookie被保存在硬盘，知道超过设定的过期时间；随着服务端session存储压力增大，会根据需要定期清理session数据
• session中有众多数据，只将sessionID这一项可以通过cookie发送至客户端进行保留，客户端下次访问时，在请求报文中的cookie会自动携带sessionID，从而和服务器上的的session进行关联

cookie缺点：

1、使用cookie来传递信息，随着cookie个数的增多和访问量的增加，它占用的网络带宽也很大，试想假如cookie占用200字节，如果一天的PV有几个亿，那么它要占用多少带宽？

2、cookie并不安全，因为cookie是存放在客户端的，所以这些cookie可以被访问到，设置可以通过插件添加、修改cookie。所以从这个角度来说，我们要使用sesssion，session是将数据保存在服务端的，只是通过cookie传递一个sessionId而已，所以session更适合存储用户隐私和重要的数据

session 缺点：

1、不容易在多台服务器之间共享，可以使用session绑定，session复制，session共享解决

2、session存放在服务器中，所以session如果太多会非常消耗服务器的性能cookie和session各有优缺点，在大型互联网系统中，单独使用cookie和session都是不可行的

五.Web相关工具

1.wget工具

wget [OPTION]... [URL]...

-q 静默模式
-c 断点续传
-P /path 保存在指定目录
-O filename 保存为指定文件名，filename 为 - 时，发送至标准输出
--limit-rate= 指定传输速率，单位K，M等

2.curl

curl是基于URL语法在命令行方式下工作的文件传输工具，它支持FTP, FTPS, HTTP, HTTPS, GOPHER, TELNET, DICT, FILE及LDAP等协议。

curl [options] [URL...]

-A/--user-agent <string> 设置用户代理发送给服务器
-e/--referer <URL> 来源网址
--cacert <file> CA证书 (SSL)
-k/--insecure   允许忽略证书进行 SSL 连接
--compressed 要求返回是压缩的格式
-H/--header "key:value” 自定义首部字段传递给服务器
-i 显示页面内容，包括报文首部信息
-I/--head 只显示响应报文首部信息
-D/--dump-header <file>将url的header信息存放在指定文件中
--basic 使用HTTP基本认证
-u/--user <user[:password]>设置服务器的用户和密码
-L   如果有3xx响应码，重新发请求到新位置
-O 使用URL中默认的文件名保存文件到本地
-o <file> 将网络文件保存为指定的文件中
--limit-rate <rate> 设置传输速度
-0/--http1.0 数字0，使用HTTP 1.0
-v/--verbose 更详细
-C 选项可对文件使用断点续传功能
-c/--cookie-jar <file name> 将url中cookie存放在指定文件中
-x/--proxy <proxyhost[:port]> 指定代理服务器地址
-X/--request <command> 向服务器发送指定请求方法
-U/--proxy-user <user:password> 代理服务器用户和密码
-T 选项可将指定的本地文件上传到FTP服务器上
--data/-d 方式指定使用POST方式传递数据
-s --silent   Silent mode
-b name=data 从服务器响应set-cookie得到值，返回给服务器
-w <format> 显示相应的指定的报文信息，如：%{http_code}，%{remote_ip}等
-m, --max-time <time> 允许最大传输时间

3.压力测试工具

httpd的压力测试工具：

• ab, webbench, http_load, seige
• Jmeter 开源
• Loadrunner 商业，有相关认证
• tcpcopy：网易，复制生产环境中的真实请求，并将之保存

ab 来自httpd-tools包

ab [OPTIONS] URL

-n：总请求数
-c：模拟的并发数
-k：以持久连接模式测试