Web:是一个由许多互相链接的超文本组成的系统,通过互联网访问。 在这个系统中,每个有用的事物,称为一样“资源”;并且由一个全局“统一资源标识符”(URI)标识;这些资源通过超文本传输协议(Hypertext Transfer Protocol)传送给用户,而后者通过点击链接来获得资源。

DARPA :

IANA:                            

众所周知:

    0-1023:管理员才有权限,永久地分配给某应用使用;

注册端口:  

1024-41951:只有一部分被注册,分配原则上非特别严格;

动态端口或私有端口: 内核分配的临时端口

41952+:

/proc/sys/net//ipv4/ip_local_port_range:定义两个数字,表示可以做为临时端口的起始数字和结束数字;定义哪个范围内的端口作为临时端口

传输层协议:TCP,UDP,SCTP,DCCP

套接字类型:

tcp socket

udp socket

raw socket

TCP协议的功能:

连接建立 :建立一个通话

将数据打包成段:

    校验

确认、重传以及超时

排序

序列号

流量控制: 

     缓冲区:发送缓冲、接受缓冲

 滑动窗口:实现流量控制 去

拥塞控制:            

      慢启动

  拥塞避免算法

  

RFC:

IPC: 进程中的通信

socket:IPC的一种实现,用于同一或不同主机上的进程间的通信;

socket通信在domain中实现

     识别一个socket的方法(socket地址格式)

domain:

  Unix domain:基于socket机制实现同一主机不同进程间通信的一种方式:AF_UNIX,AF_LOCAL;地址是一个路径名(文件)

  IPv4 domain:AF_INET,基于socket机制借助于ipv4协议实现不同主机(也可以是同一主机)上的进程间通信的机制;地址是32位的ipv4地址+16位的端口号

  ipv6 domain:AF_INET6地址是128位的ipv6地址+16位的端口号;

  

  socket的类型:

  TCP:流式socket,sock_stream

  可靠、双向、面向字节流

  udp:数据报式socket,

  


  相关的系统调用:

  socket():创建一个新的socket。

  bind():绑定于一个套接字地址上

  listen():监听套接字;

  accept():接收连接请求

  

  connect():发起连接请求;

  

  close():关闭连接

  

  recv 接收请求  send 发送请求

  read()读请求

  read()和write(): recv(), send(), recvfrom(), sendto()

    

TCP协议通过TCP状态来标记当前处于通信过程的那个阶段。

CLOSED, LISTEN, SYN_SENT, SYN_RECV, ESTABLISHED, FIN_WAIT1, CLOSE_WAIT, FIN_WAIT2, LAST_ACK, TIME_WAIT, CLOSED

http协议:

http: Hyper Text Transfer Protocol

传输文本:HTML


html: Hyper Text Mark Language


html文本框架

<html>

   <head>

  <title>TITLE</title>

</head> 

<body>

    <h1>H1</h1>

<p></p>

<h2>H1</h2>

<p> <a href="admin.html">ToGoogle</a> </p>

</body>

</html>

css: Cascading Style Sheet层叠样式表


html文档的生成方式:

静态:

动态:编程语言编写的程序可输出html格式的结果

php,jsp,asp .net

依赖脚本解释器:

php:php解释器

jsp:jvm

http协议报文:

request:

请求不同html文档

response:

http协议:

    http 0.9

http 1.0

MIME: Multipurpose Internet Mail Extesions多用途互联网邮件扩展

http 1.1

http 2.0

spdy

web服务器:

理解用户请求的资源格式不仅仅是纯html格式的文档

静态资源

动态资源:

application/php

 

text/html超文本

text/plain文本


web资源:

资源类型:MIME

major/minor

text/html

text/plain

p_w_picpath/jpeg

p_w_picpath/gif

vedio/mpeg4

application/vnd.ms-powerpoint

资源名称:URI 统一资源标记符

URL:统一资源定位符:描述一个特定服务器上某资源的特定位置。

http://www.magedu.com:80/download/bash-4.3.1-1.rpm

分为三部分:

scheme(方案):http://

服务器:www.mageedu.com:80

特定服务器上的资源:/download/bash-4.3.1-2.rpm

CGI:Common Gateway Interface通用网关基础

   简化版的http  

   

   http事务:一次请求及对应的响应

   

   http方法:

   GET:请求获取一个资源,需要服务器发送

   HEAD:跟GET近似,但其不需要服务响应请求的资源,而返回响应首部

   POST:基于HTML表单向服务器提交数据,服务器常需要存储此数据;(位置,通常为关系型数据库)

   PUT:与get相反,向服务器发送资源;服务器通常需要存储此资源;(位置:通常为文件系统)

   DELETE:删除URL指向资源

   options:探测服务器端对请求的URL所支持使用的请求方法

   trace:跟一次请求中间所经过的代理服务器、防火墙或网关等

   

 http状态码:

   1xx:信息性状态码

   2xx:成功状态码

      200:OK

      201:CRERTED

   3xx:重定向类的状态码

      301:moved permanently永久重定向,

      302:found 临时重定向,会在相应报文中使用”location:新位置”;

      304:not modified

   4xx:客户端类错误

      403:Forbidden请求被拒绝

      404:Not Found资源不存在

      405:Method Not Allowed方法不对,不允许你使用你的方法。

   5xx:服务器类的错误

      500:Internal Server Error服务器内部错误

      502:Bad Gateway错误的网关,代理服务器从上游服务器收到一条伪相应

      503:Service Unavailable服务暂时不可用

 

http协议:

协议首部:

name:value

     例如:content-type:p_w_picpaths/gif

 分三类:

 通用首部

 请求首部

 响应首部

http请求报文:

 <method> <request-URL> <version>

 请求方法-请求资源-协议版本

 <HEADERS>

 

 <entity-body>

 请求实体

 

http响应报文:  

 <version> <status> <reason-phrase>

 版本-状态码-原因短语

 <HEADERS>

 

 <entity-body>

 相应首部

 

       解释:

<method>:请求方法

<request-URL>: 请求的资源,可以是相对路径,如/p_w_picpaths/log.jpg,也可以绝对路径,如http://www.magedu.com/p_w_picpaths.banner.jpg

<version>: http协议版本,格式HTTP/<major>.<minor>,例如HTTP/1.0, HTTP/1.1

<headers>:各种所可以使用的首部

<status>: 状态码

<reason-phrase>: 原因短语,指状态码的易读信息  

 

 注意:http协议无状态,stateless

 cookie:标记信息

   set-cookie



http协议版本:

http 0.9: 仅用于传输html文档

http 1.0:引入MIME机制,从而支持多媒体数据;引入keep-alive(持久连接);缓存

http 1.1:更多请求方法,更精细缓存控制;持久连接(persistent);


http协议首部:

通用首部

请求首部

响应首部

实体首部

扩展首部:非标准首部,可由程序员自行创建;X-Forward-For, X-Via

通用首部:

 Connection:定义c/s之间关于请求、响应的有关选项

          Connection: keep-alive

Cache-Control: 缓存控制

    

    请求首部:

Client-IP:

Host: 请求的主机

Referer: 指明了请求当前资源原始资源的URL

User-Agent: 用户代理

     Accept首部:

Accept: 服务端能够发送的媒体的类型

Accept-Charset: 

Accept-Encoding: 

Accept-Language: 


条件式请求:

跟安全相关请求:

Authorization:授权

Cookie:

响应首部:

Age: 

Server: 向客户说明自己的程序名称和版本


协商首部:

  vary:首部列表,服务器会根据列表中的内容挑一个最适用的版本发给客户端

      跟安全相关:

        www-authencation

        set-cookie


实体首部:

     location:资源的新位置

     allow: 允许对此资源使用的请求方法


 内容相关的首部;

Content-Encoding: 内容编码

Content-Language:语言

Content-Length:长度

Content-Location:

Content-Type:类型

缓存相关:

etag

expires

last-modified

  

一次web资源请求的具体过程(服务器角度):

建立连接

接收请求

处理请求

访问资源

构建响应

发送响应

记录日志

连接:

连接套接字:(client, cport <--> server, sport)

监听套接字:80端口

        

web服务器的I/O结构:

单进程模型:串行

多进程模型:每个进程响应一个用户请求实现并发的效果

复用的I/O机制:一个进程生成多个线程,每个线程响应一个用户请求

复用的I/O机制:多个线程,每个线程响应多个用户请求;

web server:

httpd

nginx

lighttpd

gws


App Server: 

IIS

tomcat, jetty, resin

weblogic

websphere


httpd:

ASF: Apache Software Fundation


httpd, 


a patchy server = apache

httpd, 

httpd的特性:

        高度模块化:core + modules

DSO:Dynamic Shared Object支持共享加载机制

MPM:Multipath Processing Module多道处理模块

统称,事实上又多个实现;

prefork:每个进程响应一个用户请求,预先生成多个空闲进程;

   select():1024

worker:启动多个进程,每个进程生成多个线程,每个线程响应一个用户请求;

event:启动多个线程,每个线程响应N个请求;

  event-driven:事件驱动

  

  

httpd的功能特性:

丰富用户认证:基本认证和摘要认证

CGI:通用网关接口  原生支持perl CGI

虚拟主机:

   基于端口、ip、主机名

反向代理:

   负载均衡

用户站点:

路径别名:

第三方模块:

安装方式:

rpm包

源码编译

centos 6:httpd

配置文件:

/etc/httpd/conf.d/httpd.conf

/etc/httpd/conf.d/*.conf

服务脚本:

/etc/rc.d/init.d/httpd

  脚本配置文件:/etc/sysconfig/httpd

  

 模块目录:

/etc/httpd/modules: 链接文件

/usr/lib64/httpd/modules

主程序:

/usr/sbin/httpd: prefork 

/usr/sbin/httpd.event: event

/usr/sbin/httpd.worker: worker

日志文件目录:

/var/log/httpd

access_log: 访问日志

error_log: 错误日志

站点文档根目录:

/var/www/html/p_w_picpaths/a.jpg

http://www.magedu.com/p_w_picpaths/a.jpg 

 

 

 httpd的配置文件说明:


# grep "Section" httpd.conf


### Section 1: Global Environment

### Section 2: 'Main' server configuration

### Section 3: Virtual Hosts


 主服务器的配置

 虚拟主机配置

   

   主服务器和虚拟主机一般不同时使用,默认仅启用了主服务器;

   指令参数:不区分字符大小写,但其值有可能会区分大小写

   

   1、持久连接

KeepAlive {On|Off}

MaxKeepAliveRequests 100 

KeepAliveTimeout 15

   

   

   2、MPM参数:

  <IfModule prefork.c> 多进程模式

StartServers       8

MinSpareServers    5

MaxSpareServers   20

ServerLimit      256

MaxClients       256

MaxRequestsPerChild  4000

</IfModule>

     

 

 

<IfModule worker.c>多线性模式

StartServers         4

MaxClients         300

MinSpareThreads     25

MaxSpareThreads     75

ThreadsPerChild     25

MaxRequestsPerChild  0

</IfModule>

启动多少空闲进程

所允许最大并发请求用户

最小空闲线性进程

最大空闲线性进程

每个子进程可以生成多少线性

每个线性可以处理多少个进程

 

event:事件驱动模型

 

指定监听的地址和端口

listen [ip:]ro

listen 80

listen 8080

.....

此指令可重复指定多次

4、dso机制指定装载的模块

显示:

#httpd -D DUMP_MODULES

LoadModule Module_Name /path/to/Module_File

“格式 模块名称 模块路径名字”

5指定站点跟目录:网页存放位置

documentroot “/path/to/somewhere"

6、站点路径访问控制

基于本地文件系统路径

<directoty "/path/to/somewhere">

</directory>

基于URL访问路径做访问控制

<Location "/path/to/URL">

</Location>

7、于Directory中可用的访问控制

(1)options :定义访问选项

indexes:当访问的路径下无默认的主页面,将所有资源以列表形式呈现给用户;危险,慎用;

followsymlinks:跳跃符合链接

(2)allowoverride

支持在每个页面目录下创建,htaccess用于实现对此目录中资源访问时的访问控制功能

8、order基于ip做访问控制

order allow,deny(拒绝)

allow from all

deny from172.16.100.17拒绝

allow from172.0.0/16允许访问

  from后面能接受的地址格式

  IP, Network Address

    网络地址格式较为灵活:

    172.16

    172.16.0.0

    172.16.0.0/16

    172.16.0.0/255.255.0.0

  

  

  

9、定义默认的主页面

   directoryindex 

10、配置日志功能

    日志级别:LogLevel {debug|info|notice|warn|error|crit|alert|emerg}


    日志格式 LogFormat 

    访问日志CustomLog "/path/to/access_log" LogFormat_Name

                                

       指定错误日志 ErrorLog "/path/to/error_log"

自定义日志格式名称

logformat日志格式

%h:客户端地址;

%l:远程登录名,

%u:认证时输入的用户名,没有认证时为-

%t:服务器收到 用户请求时的时间

%r:请求报名的起始行;

%>s:响应状态码;

%b:响应报文的长度,单位是字节

%{header_name}i:记录指定首部对应的值

11、路径别名

站点根目录:/www/html

    http://www.magedu.com/p_w_picpaths/logo/new.gif

    此文件位置:/www/html/p_w_picpaths/logo/new.gif

实现URL路径的映射,从而所访问的资源不再依赖于站点根目录;

Alias /URL/ "/path/to/somewhere/"

12、设定默认字符集

字符集:GB2312,GB18030,GBK

13、CGI脚本  通用网关接口

   CGI脚本路径别名

    /var/www/cgi-bin

http://server/cgi-bin/

   base写CGI脚本

所有文本都使用命令输出:echo,printf,cat

执行程序;命令引用

Content-Type: text/html

<pre>


</pre>

fastCGI:快速CGI协议

14、基于用户访问控制

   用户认证:

   基本认证:basic

摘要认证:digest

虚拟用户:仅用于访问某服务或获取某资源的凭证;

   文本文件:.htpasswd账号是明文,密码是加密的

sql数据库中:

dbm:数据库引擎。提供API。      将用户账号密码

ldap;轻量级服务访问协议

authentication provider:账号和密码存储机制;

authorization provider: 授权

案例:基於文件做訪問控制

1) 基于用户进行认证 


<Directory "/var/www/html/admin">

    Options none

    AllowOverride AuthConfig

    AuthType Basic

    AuthName "Admin Area."

    #AuthBasicProvider file

    AuthUserFile /etc/httpd/conf/.htpasswd

    Require valid-user

</Directory>


Require valid-user: 文件中所有用户均可访问

Require user USERNAME, ...

2)提供認證文件

htpasswd

-C:如果此文件事先不存在,则创建;注意,只能在创建第一个用户使用。

-m:以md5的格式编码存储用户的密码信息

-D:删除指定用户

 

3)組認證

<Directory "/var/www/html/admin">

    Options none

    AllowOverride AuthConfig

    AuthType Basic

    AuthName "Admin Area."

    #AuthBasicProvider file

    AuthUserFile /etc/httpd/conf/.htpasswd

    AuthGroupFile /etc/httpd/conf/.htgroup

    Require group GROUP_NAME

</Directory>

  组名:user1 user2 user3

15、虚拟主机

一个站点提供多个

虚拟主机:使用不同访问路径

    基于端口

基于ip

基于主机名

 

 

1) 使用虚拟的前提:取消主服务器

   注释主服务器的站点根路径指定:documentroot

2)定义虚拟主机

NameVirtualHost IP:PORT


<VirtualHost IP:PORT>

ServerName 

DocumentRoot 

ServerAlias

ErrorLog

CustomLog

</VirtualHost>

配置文件语法检查:

httpd -t

service httpd configtest

配置示例:

<VirtualHost 172.16.100.7:80>

   ServerName www.mageedu.com

   DocumentRoot "/web/hosta"

</VirtualHost>


<VirtualHost 172.16.100.8:80>

   ServerName www.mageedu.com

   DocumentRoot "/web/hostb"

</VirtualHost>


<VirtualHost 172.16.100.8:8080>

   ServerName www.mageedu.com

   DocumentRoot "/web/hostc"

</VirtualHost>

测试:elinks

 -dump:获取到页面数据后直接退出进程

 

 

16、https协议

 ssl(安全的套接字层),tls(传输层安全)

      http协议:文本编码  明文 不安全

 验证:使用telnet发请求

# telnet 172.16.100.7 80

Trying 172.16.100.7...

Connected to 172.16.100.7.

Escape character is '^]'.

GET /index.html HTTP/1.0

Host: www.b.org


HTTP/1.1 200 OK

Date: Fri, 08 Aug 2014 03:03:51 GMT

Server: Apache/2.2.15 (CentOS)

Last-Modified: Fri, 08 Aug 2014 02:14:52 GMT

ETag: "e0009-12-50014c53e753f"

Accept-Ranges: bytes

Content-Length: 18

Connection: close

Content-Type: text/html; charset=UTF-8


<h1> Host B </h1>

Connection closed by foreign host.


 httpd:ssl

   ssl模块

  单独成包

  ssl会话基于IP地址创建,所以,每一个IP仅创建一个SSL会话;

 ssl握手要完成的工作;

 交换协议版本号

 选择双方都支持的加密方式

 客户端对服务器端实现身份验证

 秘钥交换

 

 

 https协议:基于ssl二进制编码,443/tcp

 openssl s_client

 

 客户端验证服务器端证书:

 有效性检测:证书是否仍然在有效期内

 ca的可信度检测

 证书的完整性检查;

 持有者的身份检查

 

 配置httpd工作于https:

 1、安装mod_ssl模块

 # yum install mod_ssl

 2、为服务器端生成私钥,并为其提供证书;

 # mkdir /etc/httpd/ssl && cd /etc/httpd/ssl

# (umask 077; openssl genrsa -out httpd.key 1024)

# openssl req -new -key httpd.key -out httpd.csr


签署后的证书为:/etc/httpd/ssl/httpd.crt

 3、配置使用https的虚拟主机;

 SSLCertificateFile

SSLCertificateKeyFile


<VirtualHost IP:443>

DocumentRoot

ServerName

</VirtualHost>


 4、重新装载配置

 5、测试

# openssl s_client -connect IP:PORT -CAfile /path/to/ca_certificate

17、status页面

httpd内嵌有handler,其中有一个handler用于输出当前httpd服务相关状态信息

handler:server-status

启用handler要使用sethandler指令

18、访问属性配置总结

 

<Directory [~] "">

</Directory>


<File [~] "">

</File>


配置URL访问路径:

<Location [~] "">

</Location>


<LocationMatch "">

</LocationMatch>



/var/www/html/

p_w_picpaths/  

 

 

 19、curl命令


curl是基于URL语法在命令行方式下工作的文件传输工具,它支持FTP, FTPS, HTTP, HTTPS, GOPHER, TELNET, DICT, FILE及LDAP等协议。curl支持HTTPS认证,并且支持HTTP的POST、PUT等方法, FTP上传, kerberos认证,HTTP上传,代理服务器, cookies, 用户名/密码认证, 下载文件断点续传,上载文件断点续传,,http代理服务器管道( proxy tunneling), 甚至它还支持IPv6, socks5代理服务器,,通过http代理服务器上传文件到FTP服务器等等,功能十分强大。


curl的常用选项:


   -A/--user-agent <string> 设置用户代理发送给服务器

   -basic 使用HTTP基本认证

   --tcp-nodelay 使用TCP_NODELAY选项

   -e/--referer <URL> 来源网址

   --cacert <file> CA证书 (SSL)

   --compressed 要求返回是压缩的格式

   -H/--header <line>自定义头信息传递给服务器

   -I/--head 只显示响应报文首部信息

   --limit-rate <rate> 设置传输速度

   -u/--user <user[:password]>设置服务器的用户和密码

   -0/--http1.0 使用HTTP 1.0

 

20、使用mod_deflate模块压缩页面优化传输速度


SetOutputFilter DEFLATE


          # mod_deflate configuration

    

      

     # Restrict compression to these MIME types

     AddOutputFilterByType DEFLATE text/plain 

     AddOutputFilterByType DEFLATE text/html

     AddOutputFilterByType DEFLATE application/xhtml+xml

     AddOutputFilterByType DEFLATE text/xml

     AddOutputFilterByType DEFLATE application/xml

     AddOutputFilterByType DEFLATE application/x-javascript

     AddOutputFilterByType DEFLATE text/javascript

     AddOutputFilterByType DEFLATE text/css

      

     # Level of compression (Highest 9 - Lowest 1)

     DeflateCompressionLevel 9

      

     # Netscape 4.x has some problems.

     BrowserMatch ^Mozilla/4 gzip-only-text/html

      

     # Netscape 4.06-4.08 have some more problems

     BrowserMatch ^Mozilla/4\.0[678] no-gzip

      

     # MSIE masquerades as Netscape, but it is fine

     BrowserMatch \bMSI[E] !no-gzip !gzip-only-text/html  

 

21、httpd程序包自带的工具介绍

httpd:

  Apache服务器程序

  

  -t:测试配置文件

  -l:列表静态模块

  -D:DUMP_MODULES:列出DSO模块

-M:

-D DUMP_VHOSTS: 列出所有虚拟主机

  htpasswd:

为基于文件的basic认证创建和更新用户认证文件


apachectl: 

脚本,httpd服务控制工具;


ab: apache benchmark

httpd的基准性能测试工具; 


apxs: 

httpd得以扩展使用第三方模块的工具;


htcacheclean: 

磁盘缓存清理工具;


htdigest: 

为digest认证创建和更新用户认证文件


httxt2dbm:

为rewrite map创建dbm格式的文件


rotatelogs: 

不关闭httpd而切换其使用日志文件的工具


access_log, access_log.1, access_log.2,


suexec:

User apache

Group apache


当httpd进程需要以另外的用户的身份去访问某些资源时,可以以suexec作临时切换;


22、ab工具的初步使用


同类工具:http_load, webbench, seige


Usage: ab [options] [http[s]://]hostname[:port]/path


-c #: 模拟的并发数;

-n #: 总的请求数


-n的值一定要大于等于-c的值;


  

23、资源限定   

  软限定:可临时超出一定时长的上限

  硬限定:绝对不可以超出上限

  

  管理员可使用ulimit命令临时性的修改各种资源的软限制;

  ulimit -n #:能同时打开文件数

         -u #:能同时启动的进程数

 

 

配置文件:

/etc/security/limits.conf

/etc/security/limits.d/*.conf

24、编译安装httpd-2.4

httpd-2.0, httpd-2.2, httpd-2.4


httpd程序依赖于apr和apr-util

apr: apache portable runtime

httpd-2.4的新特性:

1)MPM支持在运行时装载;

--enable-mpms-shared=all --with-mpm={prefork|worker|event}

2)支持event mpm

3)异步读写

4)在每模块及每目录分别使用不同的日志级别

5)每请求的配置;<If>,<Elseif>

6)增强版的表达式分析器

7)毫秒级的keep alive的timeout

8)基于FQDN的虚拟主机不再需要NameVirtualHost指令;

9)支持用户使用自定义变量


新增了一些模块:mod_proxy_fcgi, mode_ratelimit, mod_request, mod_remoteip


修改了一些配置机制:

不再支持使用order, allow, deny定义基于ip的访问控制;改为require


编译安装httpd-2.4

  # ./configure --prefix=/usr/local/apache --sysconfdir=/etc/httpd24 --enable-so --enable-ssl --enable-cgi --enable-rewrite --with-zlib --with-pcre --with-apr=/usr/local/apr --with-apr-util=/usr/local/apr-util/ --enable-mpms-shared=all --with-mpm=event --enable-modules=most

   # make && make install



   基于IP做访问控制:

允许所有主机访问:Require all granted

拒绝所有主机访问:Require all deny


控制某特定主机的访问:

Require ip IPADDR

Require not ip IPADDR


IPADDR:

单个ip

Network/Netmask: 

Network/Length: 172.16.0.0/16

Net: 172.16


Require host HOSTNAME

Require not host HOSTNAME


HOSTNAME:

FQDN:具体的主机

DOMAIN: 域内的所有主机