Linux 第77天 http其它配置

时间: 20181019


目录

status页面

反向代理功能

Sendfile

http协议：stateless 无状态

报文语法格式

http协议状态码分类

HTTP 首部字段

首部的分类

Cookie

Set-Cookie首部字段

curl工具

httpd自带的工具程序

httpd的压力测试工具

APR



status页面

当访问/server-status目录时会显示httpd状态

LoadModule  status_module  modules/mod_status.so

<Location /server-status>

SetHandler server-status

Order allow,deny

Allow from 172.16

</Location>


反向代理功能

启用反向代理

ProxyPass "/" "http://www.example.com/"

ProxyPa***everse "/" "http://www.example.com/"

特定URL反向代理

ProxyPass "/images" "http://www.example.com/"

ProxyPa***everse "/images" http://www.example.com/

示例：

<VirtualHost *>

ServerName www.winthcloud.com

ProxyPass / http://localhost:8080/

ProxyPa***everse / http://localhost:8080/

</VirtualHost>


DirectoryIndex index.php


<VirtualHost *:80>

ServerName www.b.net

DocumentRoot /apps/vhosts/b.net

ProxyRequests Off

ProxyPassMatch ^/(.*\.php)$  fcgi://127.0.0.1:9000/apps/vhosts/b.net/$1


<Directory "/apps/vhosts/b.net">

Options None

AllowOverride None

Require all granted

</Directory>

</VirtualHost>



反向代理

负责协助处理请求

正向代理

负责提交请求



Sendfile


不用 sendfile 的传统网络传输过程：

read(file, tmp_buf, len)

write(socket, tmp_buf, len)

硬盘 >> kernel buffer >> user buffer >> kernel socket buffer >> 协议栈

一般网络应用通过读硬盘数据，写数据到 socket 来完成网络传输,底层执行过程：

1 系统调用 read() 产生一个上下文切换：从 user mode 切换到 kernel mode，然后 DMA 执

行拷贝，把文件数据从硬盘读到一个 kernel buffer 里。

2 数据从 kernel buffer 拷贝到 user buffer，然后系统调用 read() 

返回，这时又产生一个上下文切换：从kernel mode 切换到 user mode

3 系统调用 write() 产生一个上下文切换：从 user mode 切换到 kernel mode

然后把步骤2读到 user buffer 的数据拷贝到 kernel buffer（数据第2次拷贝到

kernel buffer），不过这次是不同的 kernel buffer，这个 buffer和 socket 相关联。

4 系统调用 write() 返回，产生一个上下文切换：从 kernel mode 切换到 user mode

(第4次切换),然后DMA从 kernel buffer 拷贝数据到协议栈（第4次拷贝）

上面4个步骤有4次上下文切换，有4次拷贝，如能减少切换次数和拷贝次数将会有效

提升性能


Sendfile工作机制

在kernel 2.0+ 版本中，系统调用 sendfile() 就是用来简化上面步骤提升

性能的。sendfile() 不但能减少切换次数而且还能减少拷贝次数

用 sendfile() 来进行网络传输的过程：

sendfile(socket, file, len);

硬盘 >> kernel buffer (快速拷贝到kernel socket buffer) >> 协议栈

1 系统调用 sendfile() 通过 DMA 把硬盘数据拷贝到 kernel buffer，然后

数据被 kernel 直接拷贝到另外一个与 socket 相关的 kernel buffer。这里

没有 user mode 和 kernel mode 之间的切换，在 kernel 中直接完成了从

一个 buffer 到另一个 buffer 的拷贝

2 DMA 把数据从 kernel buffer 直接拷贝给协议栈，没有切换，也不需

要数据从 user mode 拷贝到 kernel mode，因为数据就在 kernel 里


http协议：stateless 无状态

服务器无法持续追踪访问者来源

解决http协议无状态方法

cookie 客户端存放

session 服务端存放

http事务：一次访问的过程

请求：request

响应：response



报文语法格式：

request报文

<method> <request-URL> <version>

<headers>

<entity-body>

response报文

<version> <status> <reason-phrase>

<headers>

<entity-body>

<method>: 请求方法，标明客户端希望服务器对资源执行的动作GET、HEAD、POST等

Method 方法：

GET： 从服务器获取一个资源

HEAD： 只从服务器获取文档的响应首部

POST： 向服务器输入数据，通常会再由网关程序继续处理

PUT： 将请求的主体部分存储在服务器中，如上传文件

DELETE： 请求删除服务器上指定的文档

TRACE： 追踪请求到达服务器中间经过的代理服务器

OPTIONS：请求服务器返回对指定资源支持使用的请求方法

<version>:

HTTP/<major>.<minor>

<status>:

三位数字，如200，301, 302, 404, 502; 标记请求处理过程中发生的情况

<reason-phrase>：

状态码所标记的状态的简要描述

<headers>：

每个请求或响应报文可包含任意个首部；每个首部都有首部名称，后面

跟一个冒号，而后跟一个可选空格，接着是一个值

<entity-body>：请求时附加的数据或响应时附加的数据

协议查看或分析的工具：

tcpdump, wireshark,tshark


http协议状态码分类

status(状态码)：

1xx：100-101 信息提示

2xx：200-206 成功

3xx：300-305 重定向

4xx：400-415 错误类信息，客户端错误

5xx：500-505 错误类信息，服务器端错误


200： 成功，请求数据通过响应报文的entity-body部分发送;OK

301： 请求的URL指向的资源已经被删除；但在响应报文中通过首部Location指明了资源现

在所处的新位置；Moved Permanently

302： 响应报文Location指明资源临时新位置 Moved Temporarily

304： 客户端发出了条件式请求，但服务器上的资源未曾发生改变，则通过响应此响应状态

码通知客户端；Not Modified

401： 需要输入账号和密码认证方能访问资源；Unauthorized

403： 请求被禁止；Forbidden

404： 服务器无法找到客户端请求的资源；Not Found

500： 服务器内部错误；Internal Server Error

502： 代理服务器从后端服务器收到了一条伪响应，如无法连接到网关；Bad Gateway

503： 服务不可用，临时服务器维护或过载，服务器无法处理请求

504： 网关超时


HTTP 首部字段


HTTP 首部字段包含的信息最为丰富。首部字段同时存在于请求和响应

报文内，并涵盖 HTTP 报文相关的内容信息。使用首部字段是为了给

客服端和服务器端提供报文主体大小、所使用的语言、认证信息等内容

首部字段结构HTTP 首部字段是由首部字段名和字段值构成的，中间用冒号“：”分隔

字段值对应单个 HTTP 首部字段可以有多个值

报文首部中出现了两个或以上具有相同首部字段名的首部字段时，在规范内尚未明确，

根据浏览器内部处理逻辑的不同，优先处理的顺序可能不同，结果可能并不一致


首部的分类：

通用首部:请求报文和响应报文两方都会使用的首部

请求首部:从客户端向服务器端发送请求报文时使用的首部。补充了请求的附加

内容、客户端信息、请求内容相关优先级等信息

响应首部：从服务器端向客户端返回响应报文时使用的首部。补充了响应的附

加内容，也会要求客户端附加额外的内容信息

实体首部：针对请求报文和响应报文的实体部分使用的首部。补充了资源内容

更新时间等与实体有关的的信息

扩展首部


通用首部：

Date: 报文的创建时间

Connection：连接状态，如keep-alive, close

Via：显示报文经过的中间节点（代理，网关）

Cache-Control：控制缓存，如缓存时长

MIME-Version:发送端使用的MIME版本

Warning：错误通知


请求首部：

Accept：通知服务器自己可接受的媒体类型

Accept-Charset： 客户端可接受的字符集

Accept-Encoding：客户端可接受编码格式，如gzip

Accept-Language：客户端可接受的语言

Client-IP: 请求的客户端IP

Host: 请求的服务器名称和端口号

Referer：跳转至当前URI的前一个URL

User-Agent：客户端代理，浏览器版本


条件式请求首部：

Expect：允许客户端列出某请求所要求的服务器行为

If-Modified-Since：自从指定的时间之后，请求的资源是否发生过修改

If-Unmodified-Since：与上面相反

If-None-Match：本地缓存中存储的文档的ETag标签是否与服务器文档

的Etag不匹配

If-Match：与上面相反

安全请求首部：

Authorization：向服务器发送认证信息，如账号和密码

Cookie: 客户端向服务器发送cookie

代理请求首部：

Proxy-Authorization: 向代理服务器认证


响应首部：

信息性：

Age：从最初创建开始，响应持续时长

Server：服务器程序软件名称和版本

协商首部：某资源有多种表示方法时使用

Accept-Ranges：服务器可接受的请求范围类型

Vary：服务器查看的其它首部列表

安全响应首部：

Set-Cookie：向客户端设置cookie

WWW-Authenticate：来自服务器对客户端的质询列表


实体首部：

Allow: 列出对此资源实体可使用的请求方法

Location：告诉客户端真正的实体位于何处

Content-Encoding:对主体执行的编码

Content-Language:理解主体时最适合的语言

Content-Length: 主体的长度

Content-Location: 实体真正所处位置

Content-Type：主体的对象类型，如text

缓存相关：

ETag：实体的扩展标签

Expires：实体的过期时间

Last-Modified：最后一次修改的时间



Cookie

HTTP 是一种无状态协议。协议自身不对请求和响应之间的通信状态进行保存。也就是

说在 HTTP 这个级别，协议对于发送过的请求或响应都不做持久化处理。这是为了更

快地处理大量事务，确保协议的可伸缩性，而特意把 HTTP 协议设计成如此简单的。

可是随着 Web 的不断发展，很多业务都需要对通信状态进行保存。于是引入了 Cookie 

技术。使用 Cookie 的状态管理Cookie 技术通过在请求和响应报文中写入Cookie 

信息来控制客户端的状态。Cookie 会根据从服务器端发送的响应报文内的一个叫做 

Set-Cookie 的首部字段信息，通知客户端保存Cookie。当下次客户端再往该服务器发

送请求时，客户端会自动在请求报文中加入 Cookie 值后发送出去。服务器端发现客户

端发送过来的Cookie 后，会去检查究竟是从哪一个客户端发来的连接请求，然后对

比服务器上的记录，最后得到之前的状态信息


Set-Cookie首部字段


Set-cookie首部字段示例：

Set-Cookie: status=enable; expires=Fri, 24 Nov 2017 20:30:02 GMT;

path=/;


NAME=VALUE赋予 Cookie 的名称和其值,此为必需项

expires=DATE Cookie 的有效期，若不明确指定则默认为浏览器关闭前为止

path=PATH 将服务器上的文件目录作为Cookie的适用对象，若不指定则默认为文档

所在的文件目录


domain=域名作为 Cookie 适用对象的域名，若不指定则默认为创建

Cookie的服务器的域名

Secure 仅在 HTTPS 安全通信时才会发送 Cookie

HttpOnly 加以限制使 Cookie 不能被 JavaScript 脚本访问


curl工具

curl是基于URL语法在命令行方式下工作的文件传输工具，它支持FTP,FTPS, HTTP, 

HTTPS, GOPHER, TELNET, DICT, FILE及LDAP等协议。curl支持HTTPS认证，

并且支持HTTP的POST、PUT等方法， FTP上传， kerberos认证，HTTP上传，代理服务器，

cookies，用户名/密码认证， 下载文件断点续传，上载文件断点续传, http代理服务器

管道（proxy tunneling），还支持IPv6，socks5代理服务器，通过http代理服务

器上传文件到FTP服务器等，功能十分强大


curl [options] [URL...]

-A/--user-agent <string> 设置用户代理发送给服务器

-e/--referer <URL> 来源网址

--cacert <file> CA证书 (SSL)

-k/--insecure 允许忽略证书进行 SSL 连接

--compressed 要求返回是压缩的格式

-H/--header <line>自定义首部信息传递给服务器

-i 显示页面内容，包括报文首部信息

-I/--head 只显示响应报文首部信息

-D/--dump-header <file>将url的header信息存放在指定文件中

--basic 使用HTTP基本认证

-u/--user <user[:password]>设置服务器的用户和密码

-L 如果有3xx响应码，重新发请求到新位置

-O 使用URL中默认的文件名保存文件到本地

-o <file> 将网络文件保存为指定的文件中

--limit-rate <rate> 设置传输速度

-0/--http1.0 数字0，使用HTTP 1.0

-C 选项可对文件使用断点续传功能

-c/--cookie-jar <file name> 将url中cookie存放在指定文件中

-x/--proxy <proxyhost[:port]> 指定代理服务器地址

-X/--request <command> 向服务器发送指定请求方法

-U/--proxy-user <user:password> 代理服务器用户和密码

-T 选项可将指定的本地文件上传到FTP服务器上

--data/-d 方式指定使用POST方式传递数据

-b name=data 从服务器响应set-cookie得到值，返回给服务器


httpd自带的工具程序

htpasswd：basic认证基于文件实现时，用到的账号密码文件生成工具

apachectl：httpd自带的服务控制脚本，支持start和stop

rotatelogs：日志滚动工具



httpd的压力测试工具

ab, webbench, http_load, seige

Jmeter 开源

Loadrunner 商业，有相关认证

tcpcopy：网易，复制生产环境中的真实请求，并将之保存

ab [OPTIONS] URL

来自httpd-tools包

-n：总请求数

-c：模拟的并行数

-k：以持久连接模式测试

ulimit –n # 调整能打开的文件数



APR

APR(Apache portable Run-time libraries，Apache可移植运行库) 主要为上层的

应用程序提供一个可以跨越多操作系统平台使用的底层支持接口库。在早期的Apache版本

中，应用程序本身必须能够处理各种具体操作系统平台的细节，并针对不同的平台调用

不同的处理函数


随着Apache的进一步开发，Apache组织决定将这些通用的函数独立出来并发展成为一个新

的项目。这样，APR的开发就从Apache中独立出来，Apache仅仅是使用 APR而已。目前APR

主要还是由Apache使用，由于APR的较好的移植性，因此一些需要进行移植的C程序也开始

使用APR，开源项目比如用于服务器压力测试的Flood loader tester，该项目不仅仅适用

于Apache，http://httpd.apache.org/test/flood