1、Nginx的背景介绍
1.1 Nginx功能、应用场景
Nginx属于一种WEB服务器，基于REST架构风格，以统一资源描述符URI或者统一资源定位符URL作为沟通依据，通过HTTP协议提供各种网络服务。
1.2 Nginx是什么
高性能的HTTP和反向代理web服务器、轻量级
提供IMAP/POP3/SMTP服务
发布于2004年10月4日
Nginx1.4.0稳定版于2013年4月24日发布
C语言编写
Nginx是一个跨平台服务器
Nginx有自己的函数库，且除了zlib/PCRE和OpenSSL之外，标准模板只使用系统C库函数
1.3 Nginx的优势
占用内存少（在3W并发连接中，开启的10个nginx进程消耗内存大约150M）
高并发能力强（官方测试能够支撑5W并发连接，在实际生产环境中可达到2-3W并发连接数）
简单（配置文件通俗易懂）
支持Rewritter(重写） 能够根据域名、URL的不同，将HTTP请求分到不同的后端服务器群组
内置健康检查（如果nginx后端有几个服务宕机了，不会影响前端访问，能自动检测服务状态）
节省带宽（支持GZIP压缩，可以添加浏览器本地缓存的Header头）
2、Nginx相关命令简介
2.1 nginx安装命令
安装C语言依赖编译变量
yum install gcc-c++
安装nginx函数库
pcre 解析nginx正则（加上-y，系统有了就覆盖安装）
yum -y install pcre pcre-devel
验证正则
yum -y install zlib zlib-devel
协议函数库
yum install -y openssl openssl-devel
在线下载nginx
wget http://nginx.org/download/nginx-1.13.11.tar.gz
解压
tar zxvf nginx-1.13.11.tar.gz
编译后文件输出路径，后面的文件路径自己任意指定(此处将nginx源码编译后指定在某个文件夹下运行）
./configure --prefix=/opt/nginx-1-13
make
报错解决方案:
make install
2.2 Ngnix的启停
首先切换到nginx的编译后目录下，即/opt/nginx-1-13目录下
切换到nginx编译后目录下
进入sbin目录
cd sbin
执行启动命令
./nginx
开启端口
/sbin/iptables -I INPUT -p tcp --dport 80 -j ACCEPT
停止/重启nginx
./nginx -s stop:此方式相当于先查出nginx进程id再使用kill命令强制杀掉进程
./nginx -s quit：此方式停止步骤是待nginx进程处理任务完毕进行停止
./nginx -s reload 重启nginx
3、Nginx目录及配置信息总览
3.1 linux下nginx各个目录作用
*_temp目录：共有5个temp目录，用于存放nginx运行的临时文件
conf目录：存放配置文件的目录，其中nginx.conf文件是我们经常修改的配置文件
html目录：默认存放nginx错误页面和欢迎页面
logs目录：默认存放访问日志和错误日志文件
sbin目录：默认存放Nginx的二进制命令，常用于Nginx服务的启动、停止等管理工作
3.2 Nginx配置文件详解
核心模块
HTTP模块（代理、缓存、日志定义和第三方模块）
EVENTS模块（网络连接）
全局模块（全局指令、日志路径、PID路径、用户信息等）
基础模块
HTTP全局模块
HTTP FastCGI模块
HTTP Gzip模块
HTTP server模块（虚拟主机，一个http，可以有多个server)
HTTP location模块 （请求的路由，各种页面的处理）
HTTP Rewrite模块
第三方模块
HTTP Upstream Request Hash 模块
Notice模块
HTTP Access Key模块
*
4、Nginx负载均衡配置
4.1 轮询法（默认）
将请求按照顺序轮流地分配到后端服务器上，它均衡地对待后端的每一台服务器，不关心服务器实际的连接数和当前的系统负载
upstream www.test.com{
server 192.168.1.40:8081 weight=1;
server 192.168.1.41:8081 weight=1;
}
4.2 加权轮询法
不同的后端服务器可能机器的配置和当前系统的负载并不相同，因此其抗压能力也不相同
给配置高、负载低的机器配置更高的权重，让其处理更多的请求
配置低、负载高的机器，给其分配较低的权重，降低其系统负载
加权轮询能很好的将请求顺序按照权重分配给后端服务器
weight（权重）值越大分配到的访问概率越高
upstream www.test.com{
server 192.168.1.40:8081 weight=1;
server 192.168.1.41:8081 weight=2;
}
4.3 源地址哈希法
根据获取客户端的IP地址，通过哈希函数计算得到一个数值
用该数值对服务器列表的大小进行取模运算，得到的结果便是客户端要访问服务器的序号
采用源地址哈希法进行负载均衡，同一IP地址的客户端，当后端服务器列表不变时，它每次都会映射到同一台后端服务器进行访问
可以保证来自同一ip的请求达到固定的机器上，可以解决session问题
只需要在配置文件upstream中加上ip_hash
upstream www.test.com{
ip_hash;
server 192.168.1.40:8081 weight=1;
server 192.168.1.41:8081 weight=1;
}
4.4 最小连接法
见文知义，将请求分配到连接数最少的服务器上
只需要在配置文件upstream中加上least_conn
upstream www.test.com{
least_conn;
server 192.168.1.40:8081 weight=1;
server 192.168.1.41:8081 weight=1;
}
4.5 第三方策略
4.5.1 Fair
Fair插件安装
下载地址https://github.com/gnosek/nginx-upstream-fair/tree/master
解压zip:unzip nginx-upstream-fair-master.zip
增加模块 ./configure --prefix=/opt/nginx --add-module=/opt/nginx-upstream-fair-master
default_port问题修改：cd nginx-upstream-fair-master
在插件目录下执行命令
sed -i 's/default_port/g'ngx_http_upstream_fair_module.c
在nginx源码目录中执行 make
make install
比weight、ip_hash更加智能的负载均衡算法
此为第三方法则，Nginx本身并不支持，如果需要这种调度算法，需要安装upstream_fair模块
可根据页面大小和加载时间长短智能的进行负载均衡，即根据后端服务器响应时间进行分配
upstream www.test.com{
fair;
server 192.168.1.40:8081 weight=1;
server 192.168.1.41:8081 weight=1;
}
4.6 url_hash
4.6.1 hash插件安装
下载地址：https://github.com/evanmiller/nginx_upstream_hash
解压zip：unzip nginx_upstream_hash-master.zip
增加模块：./configure --prefix=/opt/nginx --add-module=/opt/nginx-upstream-hash-master
make
make install
按访问的URL的哈希结果来分配请求，使每个URL定向到一台后端服务器
可以进一步提高后端缓存服务器效率
Nginx本身不支持url_hash，如果需要这种调度算法，必须安装Nginx的hash软件包
upstream www.test.com{
hash $request_uri
server 192.168.1.40:8081 weight=1;
server 192.168.1.41:8081 weight=1;
}
5、Nginx日志文件的切割
（1）新建shell脚本
新建脚本命令如下：(在任意目录下都可以新建此脚本）
touch nginx_log.sh
（2）使脚本具有执行权限
chmod +x nginx_log.sh
(3)使用 vim 命令修改nginx_log.sh文件：(vim 文件------>进入文件----->命令模式------>按i进入编辑模式----->编辑文件 ------->按Esc进入底行模式----->输入:wq/q! （输入wq代表写入内容并退出，即保存；输入q!代表强制退出不保存。）)
vim nginx_log.sh
(4)编辑文件内容，shell中 # 符号表示注释。shell 的第一行比较特殊，一般都会以#!开始来指定使用的 shell 类型。在linux中，除了bash shell以外，还有很多版本的shell， 例如zsh、dash等等…不过bash shell还是我们使用最多的
#!/bin/bash
#设置日志文件存放目录
LOG_HOME="/opt/nginx/logs/"
#备份文件名称
LOG_PATH_BAK="$(date -d yesterday +%Y%m%d%H%M)".access.log
#重命名日志文件
mv ${LOG_HOME}/access.log ${LOG_HOME}/${LOG/PATH_BAK}.log
#向nginx主进程发信号重新打开日志
kill -USER1 'cat /opt/nginx/logs/nginx.pid'
(5)创建定时任务
crontab -e
(6)编辑任务，每一分钟执行一次nginx_log脚本
*/1 * * * * sh /opt/nginx/nginx_log.sh
(7)重启系统定时任务
service cornd restart
6、高并发下Nginx解决方案
高并发相关常用的一些指标有响应时间（Respose Time),吞吐量(Throughout),每秒查询率QPS（Query Per Second)
如何提升系统的并发能力：
互联网分布式架构设计，提高系统并发能力的方式，方法论上主要有两种：垂直扩展（Scale Up) 和水平扩展（Scale Out)
垂直扩展：提升单机处理能力。垂直扩展的方式有两种
1、增强单机硬件性能
2、提升单机架构性能
由于单机性能是有极限的，所以互联网分布式架构设计高并发终极解决方案是水平扩展。
水平扩展：增加服务器数量，就可以线性扩展系统性能
7、高并发下nginx的限流
7.1 limit_conn_zone
http{
limit_conn_zone $binary_remote_addr zone=别名:10m;
server{
....
limit_conn_别名 10;
...
}
}
其中“limit_conn one 10"既可以放在server层对整个server有效，也可以放在Location中只对单独的location有效
该设置表明：设置的客户端并发连接数只有10个
limit conn zone 关键词，不能改
$binary _remote_addr表示ip名称
zone表示空间
one 是给ip取得别名，可以任意给
7.2 limit_req_zone
http{
limit_req_zone $binary_romote_addr zone=别名:10m rate=1r/s;
server{
....
limit_req zone=别名 burst=120;
...
}
}
其中“limit_req zone=别名 burst=120"既可以放在server层对整个server有效，也可以放在Location中只对单独的location有效
rate=1r/s得意思是每个地址每秒只能请求一次，即令牌桶burst=120一共有120块令牌，并且每秒只新增1块令牌，120块令牌发完后，多出得请求返回503
7.3 针对服务端得限，ngx_http_upstream_module
提供我们需要的后端限流功能
max_conns参数可对服务端进行限流
upstream xxxx{
server 127.0.0.1:8080 max_conns=10;
server 123.0.0.1:8081 max_conns=10;
}
8、Nginx配置文件详解
#定义Nginx运行的用户和用户组
user www www;
#nginx进程数，通常设置成和cpu的数量相等
worker_processes 4;
#全局错误日志定义类型，[debug | info | notice | warn | error | crit]
#error_log logs/error.log;
#error_log logs/error.log notice;
#error_log logs/error.log info;
#进程pid文件
#pid logs/nginx.pid;
#指定进程可以打开的最大描述符：数目
#工作模式与连接数上限
##这个指令是指当一个nginx进程打开的最多文件描述符数目，理论值应该是最多打开文件数（ulimit -n）与nginx进程数相除，但是nginx分配请求并不是那么均匀，所以最好与ulimit -n 的值保持一致。
#这是因为nginx调度时分配请求到进程并不是那么的均衡，所以假如填写10240，总并发量达到3-4万时就有进程可能超过10240了，这时会返回502错误。
worker_rlimit_nofile 65535;
events {
#参考事件模型，use [ kqueue | rtsig | epoll | /dev/poll | select | poll ]; epoll模型
#是Linux 2.6以上版本内核中的高性能网络I/O模型，linux建议epoll，如果跑在FreeBSD上面，就用kqueue模型。
#补充说明：
#与apache相类，nginx针对不同的操作系统，有不同的事件模型
#A）标准事件模型
#Select、poll属于标准事件模型，如果当前系统不存在更有效的方法，nginx会选择select或poll
#B）高效事件模型
#Kqueue：使用于FreeBSD 4.1+, OpenBSD 2.9+, NetBSD 2.0 和 MacOS X.使用双处理器的MacOS X系统使用kqueue可能会造成内核崩溃。
#Epoll：使用于Linux内核2.6版本及以后的系统。
#/dev/poll：使用于Solaris 7 11/99+，HP/UX 11.22+ (eventport)，IRIX 6.5.15+ 和 Tru64 UNIX 5.1A+。
#Eventport：使用于Solaris 10。 为了防止出现内核崩溃的问题， 有必要安装安全补丁。
use epoll
#单个进程最大连接数（最大连接数=连接数+进程数）
#根据硬件调整，和前面工作进程配合起来用，尽量大，但是别把cup跑到100%就行。
worker_connections 1024;
#keepalive 超时时间
keepalive_timeout 60;
#客户端请求头部的缓冲区大小。这个可以根据你的系统分页大小来设置，一般一个请求头的大小不会超过1k，不过由于一般系统分页都要大于1k，所以这里设置为分页大小。
#分页大小可以用命令getconf PAGESIZE 取得。
#[root@web001 ~]# getconf PAGESIZE
#但也有client_header_buffer_size超过4k的情况，但是client_header_buffer_size该值必须设置为“系统分页大小”的整倍数。
client_header_buffer_size 4k;
#这个将为打开文件指定缓存，默认是没有启用的，max指定缓存数量，建议和打开文件数一致，inactive是指经过多长时间文件没被请求后删除缓存。
open_file_cache max=65535 inactive=60s;
#这个是指多长时间检查一次缓存的有效信息。
#语法:open_file_cache_valid time 默认值:open_file_cache_valid 60 使用字段:http, server, location 这个指令指定了何时需要检查open_file_cache中缓存项目的有效信息.
open_file_cache_valid 80s;
#open_file_cache指令中的inactive参数时间内文件的最少使用次数，如果超过这个数字，文件描述符一直是在缓存中打开的，如上例，如果有一个文件在inactive时间内一次没被使用，它将被移除。
#语法:open_file_cache_min_uses number 默认值:open_file_cache_min_uses 1 使用字段:http, server, location 这个指令指定了在open_file_cache指令无效的参数中一定的时间范围内可以使用的最小文件数,如果使用更大的值,文件描述符在cache中总是打开状态.
open_file_cache_min_uses 1;
#语法:open_file_cache_errors on | off 默认值:open_file_cache_errors off 使用字段:http, server, location 这个指令指定是否在搜索一个文件是记录cache错误.
open_file_cache_errors on;
}
#设定http服务器，利用它的反向代理功能提供负载均衡支持
http{
#文件扩展名与文件类型映射表
include mime.types;
#默认文件类型
default_type application/octet-stream;
#默认编码
charset utf-8;
#服务器名字的hash表大小
#保存服务器名字的hash表是由指令server_names_hash_max_size 和server_names_hash_bucket_size所控制的。参数hash bucket size总是等于hash表的大小，并且是一路处理器缓存大小的倍数。在减少了在内存中的存取次数后，使在处理器中加速查找hash表键值成为可能。如果hash bucket size等于一路处理器缓存的大小，那么在查找键的时候，最坏的情况下在内存中查找的次数为2。第一次是确定存储单元的地址，第二次是在存储单元中查找键 值。因此，如果Nginx给出需要增大hash max size 或 hash bucket size的提示，那么首要的是增大前一个参数的大小.
server_names_hash_bucket_size 128;
#客户端请求头部的缓冲区大小。这个可以根据你的系统分页大小来设置，一般一个请求的头部大小不会超过1k，不过由于一般系统分页都要大于1k，所以这里设置为分页大小。分页大小可以用命令getconf PAGESIZE取得。
client_header_buffer_size 32k;
#客户请求头缓冲大小。nginx默认会用client_header_buffer_size这个buffer来读取header值，如果header过大，它会使用large_client_header_buffers来读取。
large_client_header_buffers 4 64k;
#设定通过nginx上传文件的大小
client_max_body_size 8m;
#开启高效文件传输模式，sendfile指令指定nginx是否调用sendfile函数来输出文件，对于普通应用设为 on，如果用来进行下载等应用磁盘IO重负载应用，可设置为off，以平衡磁盘与网络I/O处理速度，降低系统的负载。注意：如果图片显示不正常把这个改成off。
#sendfile指令指定 nginx 是否调用sendfile 函数（zero copy 方式）来输出文件，对于普通应用，必须设为on。如果用来进行下载等应用磁盘IO重负载应用，可设置为off，以平衡磁盘与网络IO处理速度，降低系统uptime。
sendfile on;
#开启目录列表访问，合适下载服务器，默认关闭。
autoindex on;
#此选项允许或禁止使用socke的TCP_CORK的选项，此选项仅在使用sendfile的时候使用
tcp_nopush on;
tcp_nodelay on;
#长连接超时时间，单位是秒
keepalive_timeout 120;
#FastCGI相关参数是为了改善网站的性能：减少资源占用，提高访问速度。下面参数看字面意思都能理解。
fastcgi_connect_timeout 300;
fastcgi_send_timeout 300;
fastcgi_read_timeout 300;
fastcgi_buffer_size 64k;
fastcgi_buffers 4 64k;
fastcgi_busy_buffers_size 128k;
fastcgi_temp_file_write_size 128k;
#gzip模块设置
gzip on; #开启gzip压缩输出
gzip_min_length 1k; #最小压缩文件大小
gzip_buffers 4 16k; #压缩缓冲区
gzip_http_version 1.0; #压缩版本（默认1.1，前端如果是squid2.5请使用1.0）
gzip_comp_level 2; #压缩等级
gzip_types text/plain application/x-javascript text/css application/xml; #压缩类型，默认就已经包含textml，所以下面就不用再写了，写上去也不会有问题，但是会有一个warn。
gzip_vary on;
#开启限制IP连接数的时候需要使用
#limit_zone crawler $binary_remote_addr 10m;
#负载均衡配置
upstream piao.jd.com {
#upstream的负载均衡，weight是权重，可以根据机器配置定义权重。weigth参数表示权值，权值越高被分配到的几率越大。
server 192.168.80.121:80 weight=3;
server 192.168.80.122:80 weight=2;
server 192.168.80.123:80 weight=3;
#nginx的upstream目前支持4种方式的分配
#1、轮询（默认）
#每个请求按时间顺序逐一分配到不同的后端服务器，如果后端服务器down掉，能自动剔除。
#2、weight
#指定轮询几率，weight和访问比率成正比，用于后端服务器性能不均的情况。
#例如：
#upstream bakend {
# server 192.168.0.14 weight=10;
# server 192.168.0.15 weight=10;
#}
#2、ip_hash
#每个请求按访问ip的hash结果分配，这样每个访客固定访问一个后端服务器，可以解决session的问题。
#例如：
#upstream bakend {
# ip_hash;
# server 192.168.0.14:88;
# server 192.168.0.15:80;
#}
#3、fair（第三方）
#按后端服务器的响应时间来分配请求，响应时间短的优先分配。
#upstream backend {
# server server1;
# server server2;
# fair;
#}
#4、url_hash（第三方）
#按访问url的hash结果来分配请求，使每个url定向到同一个后端服务器，后端服务器为缓存时比较有效。
#例：在upstream中加入hash语句，server语句中不能写入weight等其他的参数，hash_method是使用的hash算法
#upstream backend {
# server squid1:3128;
# server squid2:3128;
# hash $request_uri;
# hash_method crc32;
#}
#tips:
#upstream bakend{#定义负载均衡设备的Ip及设备状态}{
# ip_hash;
# server 127.0.0.1:9090 down;
# server 127.0.0.1:8080 weight=2;
# server 127.0.0.1:6060;
# server 127.0.0.1:7070 backup;
#}
#在需要使用负载均衡的server中增加 proxy_pass http://bakend/;
#每个设备的状态设置为:
#1.down表示单前的server暂时不参与负载
#2.weight为weight越大，负载的权重就越大。
#3.max_fails：允许请求失败的次数默认为1.当超过最大次数时，返回proxy_next_upstream模块定义的错误
#4.fail_timeout:max_fails次失败后，暂停的时间。
#5.backup： 其它所有的非backup机器down或者忙的时候，请求backup机器。所以这台机器压力会最轻。
#nginx支持同时设置多组的负载均衡，用来给不用的server来使用。
#client_body_in_file_only设置为On 可以讲client post过来的数据记录到文件中用来做debug
#client_body_temp_path设置记录文件的目录 可以设置最多3层目录
#location对URL进行匹配.可以进行重定向或者进行新的代理 负载均衡
}
#虚拟主机的配置
server {
#监听端口
listen 80;
#域名可以有多个，用空格隔开
server_name www.jd.com jd.com;
#默认入口文件名称
index index.html index.htm index.php;
root /data/www/jd;
#对******进行负载均衡
location ~ .*.(php|php5)?$
{
fastcgi_pass 127.0.0.1:9000;
fastcgi_index index.php;
include fastcgi.conf;
}
#图片缓存时间设置
location ~ .*.(gif|jpg|jpeg|png|bmp|swf)$
{
expires 10d;
}
#JS和CSS缓存时间设置
location ~ .*.(js|css)?$
{
expires 1h;
}
#日志格式设定
#$remote_addr与$http_x_forwarded_for用以记录客户端的ip地址；
#$remote_user：用来记录客户端用户名称；
#$time_local： 用来记录访问时间与时区；
#$request： 用来记录请求的url与http协议；
#$status： 用来记录请求状态；成功是200，
#$body_bytes_sent ：记录发送给客户端文件主体内容大小；
#$http_referer：用来记录从那个页面链接访问过来的；
#$http_user_agent：记录客户浏览器的相关信息；
#通常web服务器放在反向代理的后面，这样就不能获取到客户的IP地址了，通过$remote_add拿到的IP地址是反向代理服务器的iP地址。反向代理服务器在转发请求的http头信息中，可以增加x_forwarded_for信息，用以记录原有客户端的IP地址和原来客户端的请求的服务器地址。
log_format access '$remote_addr - $remote_user [$time_local] "$request" '
'$status $body_bytes_sent "$http_referer" '
'"$http_user_agent" $http_x_forwarded_for';
#定义本虚拟主机的访问日志
access_log /usr/local/nginx/logs/host.access.log main;
access_log /usr/local/nginx/logs/host.access.404.log log404;
#对 "/connect-controller" 启用反向代理
location /connect-controller {
proxy_pass http://127.0.0.1:88; #请注意此处端口号不能与虚拟主机监听的端口号一样（也就是server监听的端口）
proxy_redirect off;
proxy_set_header X-Real-IP $remote_addr;
#后端的Web服务器可以通过X-Forwarded-For获取用户真实IP
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
#以下是一些反向代理的配置，可选。
proxy_set_header Host $host;
#允许客户端请求的最大单文件字节数
client_max_body_size 10m;
#缓冲区代理缓冲用户端请求的最大字节数，
#如果把它设置为比较大的数值，例如256k，那么，无论使用firefox还是IE浏览器，来提交任意小于256k的图片，都很正常。如果注释该指令，使用默认的client_body_buffer_size设置，也就是操作系统页面大小的两倍，8k或者16k，问题就出现了。
#无论使用firefox4.0还是IE8.0，提交一个比较大，200k左右的图片，都返回500 Internal Server Error错误
client_body_buffer_size 128k;
#表示使nginx阻止HTTP应答代码为400或者更高的应答。
proxy_intercept_errors on;
#后端服务器连接的超时时间_发起握手等候响应超时时间
#nginx跟后端服务器连接超时时间(代理连接超时)
proxy_connect_timeout 90;
#后端服务器数据回传时间(代理发送超时)
#后端服务器数据回传时间_就是在规定时间之内后端服务器必须传完所有的数据
proxy_send_timeout 90;
#连接成功后，后端服务器响应时间(代理接收超时)
#连接成功后_等候后端服务器响应时间_其实已经进入后端的排队之中等候处理（也可以说是后端服务器处理请求的时间）
proxy_read_timeout 90;
#设置代理服务器（nginx）保存用户头信息的缓冲区大小
#设置从被代理服务器读取的第一部分应答的缓冲区大小，通常情况下这部分应答中包含一个小的应答头，默认情况下这个值的大小为指令proxy_buffers中指定的一个缓冲区的大小，不过可以将其设置为更小
proxy_buffer_size 4k;
#proxy_buffers缓冲区，网页平均在32k以下的设置
#设置用于读取应答（来自被代理服务器）的缓冲区数目和大小，默认情况也为分页大小，根据操作系统的不同可能是4k或者8k
proxy_buffers 4 32k;
#高负荷下缓冲大小（proxy_buffers*2）
proxy_busy_buffers_size 64k;
#设置在写入proxy_temp_path时数据的大小，预防一个工作进程在传递文件时阻塞太长
#设定缓存文件夹大小，大于这个值，将从upstream服务器传
proxy_temp_file_write_size 64k;
}
#本地动静分离反向代理配置
#所有jsp的页面均交由tomcat或resin处理
location ~ .(jsp|jspx|do)?$ {
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_pass http://127.0.0.1:8080;
}
}
}
966
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
