一、介绍
1、Nginx 简介
Nginx是一个高性能WEB服务器,除它之外Apache、Tomcat、Jetty、IIS,它们都是Web服务器,或者叫做WWW(World Wide Web)服务器,相应地也都具备Web服务器的基本功能。
2、Nginx 相对其它WEB服务有什么优势呢?
- Tomcat、Jetty 面向java语言,先天就是重量级的WEB服务器,其性能与Nginx没有可比性。
- IIS只能在Windows操作系统上运行。Windows作为服务器在稳定性与其他一些性能上都不如类UNIX操作系统,因此,在需要高性能Web服务器的场合下IIS并不占优。
- Apache的发展时期很长,而且是目前毫无争议的世界第一大Web服务器,其有许多优点,如稳定、开源、跨平台等,但它出现的时间太长了,在它兴起的年代,互联网的产业规模远远比不上今天,所以它被设计成了一个重量级的、不支持高并发的Web服务器。在Apache服务器上,如果有数以万计的并发HTTP请求同时访问,就会导致服务器上消耗大量内存,操作系统内核对成百上千的Apache进程做进程间切换也会消耗大量CPU资源,并导致HTTP请求的平均响应速度降低,这些都决定了Apache不可能成为高性能Web服务器,这也促使了Lighttpd和Nginx的出现。
3、Nginx 应用场景
- http 服务器。Nginx 是一个 http 服务可以独立提供 http 服务。可以做 网页静态服务器。
- 虚拟主机。可以实现在一台服务器虚拟出多个网站。例如个人网站使用的虚拟主机。
- 反向代理,负载均衡。当网站的访问量达到一定程度后,单台服务器不能满足用户的请求时,需要用多台服务器集群可以使用 nginx 做反向代理。并且多台服务器可以平均分担负载,不会因为某台服务器负载高宕机而某台服务器闲置的情况。
4、Nginx 架构
架构说明:
- nginx启动时,会发生不处理网络请求,主要负责调度工作进程,也就是图示的三项:加载配置、启动工作进程及非停升级。所以nginx启动以后,查看操作系统的进程列表,我们就能看到至少有两个nginx进程。
- 服务器实际处理网络请求及响应的是工作进程(worker),在类unix系统上,nginx可以配置多个worker,而每个worker进程都可以同时处理数以千计的网络请求。
- 模块化设计。nginx的worker,包括核心和功能性模块,核心模块负责维持一个运行循环(run-loop),执行网络请求处理的不同阶段的模块功能,如网络读写、存储读写、内容传输、外出过滤,以及将请求发往上游服务器等。而其代码的模块化设计,也使得我们可以根据需要对功能模块进行适当的选择和修改,编译成具有特定功能的服务器。
- 事件驱动、异步及非阻塞,可以说是nginx得以获得高并发、高性能的关键因素,同时也得益于对Linux、Solaris及类BSD等操作系统内核中事件通知及I/O性能增强功能的采用,如kqueue、epoll及event ports。
Nginx 核心模块
二、配置
1、配置文件的整体介绍
# nginx配置文件主要分为六个区域: 核心区域
# main(全局设置) 作用域是全局
# events(nginx工作模式)
# upstream(负载均衡服务器设置)
# http(http设置)
# sever(主机设置)
# location(URL匹配)
2、配置概念
(1) main区域
user:来指定Nginx Worker进程运行用户以及用户组,默认由nobody账号运行。也可以创建nginx用户指定用户。
worker_processes:来指定了Nginx要开启的子进程数。每个Nginx进程平均耗费10M~12M内存。一般指定1个进程就足够了,如果是多核CPU,建议指定和CPU的数量一样的进程数即可
error_log:用来定义全局错误日志文件。日志输出级别有debug、info、notice、warn、error、crit可供选择,其中,debug输出日志最为最详细,而crit输出日志最少。
pid:用来指定进程id的存储文件位置。
worker_rlimit_nofile:用于指定一个nginx进程可以打开的最多文件描述符数目,这里是65535,需要使用命令“ulimit -n 65535”来设置。
(2) event 区域
use:用来指定Nginx的工作模式。Nginx支持的工作模式有select、poll、kqueue、epoll、rtsig和/dev/poll。其中select和poll都是标准的工作模式,kqueue和epoll是高效的工作模式,不同的是epoll用在Linux平台上,而kqueue用在BSD系统中,对于Linux系统,epoll工作模式是首选。
worker_connections:用于定义Nginx每个进程的最大连接数,即接收前端的最大请求数,默认是1024。最大客户端连接数由worker_processes和worker_connections决定,即Max_clients=worker_processes*worker_connections,在作为反向代理时,Max_clients变为:Max_clients = worker_processes * worker_connections/4。进程的最大连接数受Linux系统进程的最大打开文件数限制,在执行操作系统命令“ulimit -n 65536”后worker_connections的设置才能生效。
(3) http设置
http模块负责HTTP服务器相关属性的配置,有server和upstream两个子模块
include:来用设定文件的mime类型,类型在配置文件目录下的mime.type文件定义,来告诉nginx来识别文件类型。
default_type:设定了默认的类型为二进制流,也就是当文件类型未定义时使用这种方式,例如在没有配置asp的locate环境时,Nginx是不予解析的,此时,用浏览器访问asp文件就会出现下载了。
log_format:用于设置日志的格式,和记录哪些参数
(4) upstram 模块
upstream负载均衡模块,通过一个简单的调度算法来实现客户端IP到后端服务器的负载均衡。
upstream模块中,可以通过server指令指定后端服务器的IP地址和端口,同时还可以设定每个后端服务器在负载均衡调度中的状态。常用的状态有:
- down:表示当前的server暂时不参与负载均衡。
- backup:预留的备份机器。当其他所有的非backup机器出现故障或者忙的时候,才会请求backup机器,因此这台机器的压力最轻。
- max_fails:允许请求失败的次数,默认为1。当超过最大次数时,返回proxy_next_upstream 模块定义的错误。
- fail_timeout:在经历了max_fails次失败后,暂停服务的时间。max_fails可以和fail_timeout一起使用。
Nginx的负载均衡模块目前支持4种调度算法:
- 轮询(默认):每个请求按时间顺序逐一分配到不同的后端服务器,如果后端某台服务器宕机,故障系统被自动剔除,使用户访问不受影响。
- weight:指定轮询权值,weight值越大,分配到的访问机率越高,主要用于后端每个服务器性能不均的情况下。
- ip_hash:每个请求按访问IP的hash结果分配,这样来自同一个IP的访客固定访问一个后端服务器,有效解决了动态网页存在的session共享问题。
- fair:比上面两个更加智能的负载均衡算法。此种算法可以依据页面大小和加载时间长短智能地进行负载均衡,也就是根据后端服务器的响应时间来分配请求,响应时间短的优先分配。Nginx本身是不支持fair的,如果需要使用这种调度算法,必须下载Nginx的upstream_fair模块。
注意:当负载调度算法为ip_hash时,后端服务器在负载均衡调度中的状态不能是weight和backup。
备注:nginx的worker_rlimit_nofile达到上限时,再有客户端链接报502错误.
(5) server设置
server用来定一个虚拟主机,标志定义虚拟主机开始。
- listen:用于指定虚拟主机的服务端口。
- server_name:用来指定IP地址或者域名,多个域名之间用空格分开。
- root:表示在这整个server虚拟主机内,全部的root web根目录。注意要和locate {}下面定义的区分开来。
- index:全局定义访问的默认首页地址。注意要和locate {}下面定义的区分开来。
- charset:用于设置网页的默认编码格式。
- access_log:用来指定此虚拟主机的访问日志存放路径,最后的main用于指定访问日志的输出格式。
(6) location设置
location包含负载均衡,反向代理,虚拟域名等配置。是来定位的,定位URL,解析URL,它也提供了强大的正则匹配功能,也支持条件判断匹配,可以通过location指令实现Nginx对动,静态网页进行过滤处理。
- /:表示匹配访问根目录。
- root:指令用于指定访问根目录时,虚拟主机的web目录,这个目录可以是相对路径(相对路径是相对于nginx的安装目录)。也可以是绝对路径。
- proxy_pass:代理转发,如果在proxy_pass后面的url加/,表示绝对根路径;如果没有/,表示相对路径,把匹配的路径部分也给代理走。
- proxy_set_header:允许重新定义或者添加发往后端服务器的请求头。
- include:加载配置文件,后面介绍nginx多个配置文件时候会提到。
- root:定位localtion匹配的url资源路径。
- index:定义页面显示html,一般和alias配合使用。
(7) location中root和alias的区别
nginx指定文件路径有两种方式root和alias,root与alias主要区别在于nginx如何解释location后面的uri,这会使两者分别以不同的方式将请求映射到服务器文件上。
root实例:
location ^~ /t/ {
root /www/root/html/;
}
如果一个请求的URI是/t/a.html时,web服务器将会返回服务器上的/www/root/html/t/a.html的文件。
alias实例:
location ^~ /t/ {
alias /www/root/html/new_t/;
}
如果一个请求的URI是/t/a.html时,web服务器将会返回服务器上的/www/root/html/new_t/a.html的文件。注意这里是new_t,因为alias会把location后面配置的路径丢弃掉,把当前匹配到的目录指向到指定的目录。
注意:
1. 使用alias时,目录名后面一定要加"/"。
2. alias在使用正则匹配时,必须捕捉要匹配的内容并在指定的内容处使用。
3. alias只能位于location块中。(root可以不放在location中)
(8) 日志配置
1)日志格式
log_format main '$remote_addr - $remote_user [$time_local] "$request" '
'$status $body_bytes_sent "$http_referer" '
'"$http_user_agent" "$http_x_forwarded_for"';
基于域名打印日志
access_log logs/$host.access.log main;
2)日志的输出级别
日志的输出级别取值范围是debug、info、notice、warn、error、crit、alert、emerg,
针对指定的客户端输出debug级别的日志
events {
debug_connection 192.168.0.1;
debug_connection 1.1.1.0/200;
}
注意:debug日志开启必须在安装时添加 --with-debug (允许debug)
三、代理
在Java设计模式中,代理模式是这样定义的:给某个对象提供一个代理对象,并由代理对象控制原对象的引用。
(1) 正向代理
这里的 VPN 就是做正向代理的。正向代理服务器位于客户端和服务器之间,为了向服务器获取数据,客户端要向代理服务器发送一个请求,并指定目标服务器,代理服务器将目标服务器返回的数据转交给客户端。这里客户端是要进行一些正向代理的设置的。
(2) 反向代理
其实客户端对代理是无感知的,因为客户端不需要任何配置就可以访问,我们只需要将请求发送到反向代理服务器,由反向代理服务器去选择目标服务器获取数据后,在返回给客户端,此时反向代理服务器和目标服务器对外就是一个服务器,暴露的是代理服务器地址,隐藏了真实服务器IP地址
理解这两种代理的关键在于代理服务器所代理的对象是什么,正向代理代理的是客户端,我们需要在客户端进行一些代理的设置。而反向代理代理的是服务器,作为客户端的我们是无法感知到服务器的真实存在的。
总结起来还是一句话:正向代理代理客户端,反向代理代理服务器。
四、负载均衡
负载均衡的意思是在服务器集群中,需要有一台服务器作为调度者,客户端所有的请求都由调度者接收,调度者再根据每台服务器的负载情况,将请求分配给对应的服务器去处理;在这个过程中,调度者如何合理分配任务,保证所有服务器将性能充分发挥,从而保持服务器集群的整体性能最优,这就是负载均衡的问题了。
(1) 轮询
轮询方式是Nginx负载默认的方式,简单的说就是几台服务器之前轮流访问
(2) 权重 weight
指定每个服务的权重比例,weight和访问比率成正比,通常用于后端服务机器性能不统一,将性能好的分配权重高来发挥服务器最大性能,简单来说根据配置的数字不同,服务器被访问占比不同
(3) ip_hash
每个请求都根据访问ip的hash结果分配,经过这样的处理,每个访客固定访问一个后端服务
ip_hash 也可以跟weight配合使用
(4) 最少连接 least_conn
将请求分配到连接数最少的服务上
(5) fair
按后端服务器的响应时间来分配请求,响应时间短的优先分配。 需要插件来帮我们实现
(6)代码
upstream dalaoyang-server {
# ip_hash;
# least_conn;
# fair;
server localhost:8081 weight=1;
server localhost:8082 weight=2;
}
五、限流熔断
作为优秀的负载均衡模块,目前是我们工作中用到最多的。其实,该模块是提供了我们需要的后端限流功能的
(1) 令牌桶算法
算法思想是:
- 令牌以固定速率产生,并缓存到令牌桶中;
- 令牌桶放满时,多余的令牌被丢弃;
- 请求要消耗等比例的令牌才能被处理;
- 令牌不够时,请求被缓存。
(2) 漏桶算法
算法思想是:
- 水(请求)从上方倒入水桶,从水桶下方流出(被处理);
- 来不及流出的水存在水桶中(缓冲),以固定速率流出;
- 水桶满后水溢出(丢弃)。
- 这个算法的核心是:缓存请求、匀速处理、多余的请求直接丢弃。
相比漏桶算法,令牌桶算法不同之处在于它不但有一只“桶”,还有个队列,这个桶是用来存放令牌的,队列才是用来存放请求的。
从作用上来说,漏桶和令牌桶算法最明显的区别就是是否允许突发流量(burst)的处理,漏桶算法能够强行限制数据的实时传输(处理)速率,对突发流量不做额外处理;而令牌桶算法能够在限制数据的平均传输速率的同时允许某种程度的突发传输。
Nginx按请求速率限速模块使用的是漏桶算法,即能够强行保证请求的实时处理速度不会超过设置的阈值。
通过查看nginx官方文档,https://www.nginx.cn/doc/
(3) 下载限速
location /download {
limit_rate 1m; //限制每S下载速度
limit_rate_after 30m; // 超过30 之 后在下载
}
(4) 创建IP黑名单
#封禁指定IP
deny 192.168.0.1;
#开放指定IP、段
allow 192.168.0.1;
allow 192.168.0.0/24;
#封禁所有
deny all;
#开放所有
allow all;
# 创建黑名单文件
echo 'deny 192.168.0.1;' >> balck.ip
#http 配置块中引入 黑名单文件
include black.ip;
(5) 防盗链配置
# 加入至指定location 即可实现
valid_referers none blocked *.three.com;
if ($invalid_referer) {
return 403;
}
六、动静分离
Nginx的静态处理能力很强,但是动态处理能力不足,因此,在企业中常用动静分离技术。动静分离技术其实是采用代理的方式,在server{}段中加入带正则匹配的location来指定匹配项针对服务的动静分离:
静态页面交给Nginx处理,动态页面交给服务器或Apache处理。在Nginx的配置中,是通过location配置段配合正则匹配实现静态与动态页面的不同处理方式。
基于目录动静分离
server {
listen 80;
server_name *.three.com;
root /usr/www/three;
location / {
index index.html;
}
location /static {
alias /usr/www/static;
}
}
基于正则动静分离
location ~* \.(gif|jpg|png|css|js)$ {
root /usr/www/static;
}
七、镜像服务器
Nginx的proxy_store作用是直接把静态文件在本地硬盘创建并读取,类似于七牛或者又拍这样的镜像CDN功能,首次访问会自动获取源站的静态图片等文件,之后的访问就是直接从CDN服务器读取,加快了速度。
location / {//这里的location是要换成自己经过精确匹配的location,比如要缓存图片要写成 "location ~*\.(gif|jpg|jepg|png|bmp)${"
expires 3d; //所有链接,浏览器缓存过期时间为3天
proxy_set_header Accept-Encoding '';
root /home/mpeg/nginx; //此目录为服务器的根目录,下面的if语句就是判断此目录下是否有响应的文件
proxy_store on; //表示开启缓存
proxy_store_access user:rw group:rw all:rw;//表示用户读写权限
proxy_temp_path /home/mpeg/nginx; //此处为文件的缓存路径,这个路径是和url中的文件路径一致的
if ( !-e $request_filename) {
proxy_pass http://192.168.0.1; //此处为要被代理的服务器的地址
}
}
八、热备部署
(1) nginx热备
用nginx做负载均衡,作为架构的最前端或中间层,随着日益增长的访问量,需要给负载均衡做高可用架构,利用keepalived解决单点风险,一旦 nginx宕机能快速切换到备份服务器
安装keepalived:yum install nginx keepalived pcre-devel -y
xml
global_defs {
vrrp_garp_interval 0
vrrp_gna_interval 0
}
vrrp_instance VI_1 {
state MASTER #备用机 修改为 BACKUP
interface enp0s8
virtual_router_id 50
priority 100 # 参数 备用比主机低就可以了
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
192.168.0.120
}
}
(2) 项目热备
upstram模块地址后加backup
九、安全认证
ngx_http_auth_basic_module允许通过使用"HTTP基本身份认证"协议验证用户名和密码来限制对资源的访问。坦白点来说,如果想对某目录设置访问权限,可以使用ngx_http_auth_basic_module提供的功能。
由RFC2307中描述的"{scheme}data"语法(1.0.3+)指定。当前实现方案包括文本(用于示例,不应使用)、SHA(1.3.13)(SHA-1哈希文本,不应使用)、SSHA(SHA-1加盐哈希,被OpenLDAP、Dovecot等软件包使用)。
htpasswd生成密码文件,htpasswd是开源Http服务器Apache Http Server的一个命令工具:yum install httpd-tools -y
htpasswd指令用来创建和更新用于基本认证的用户认证密码文件。htpasswd指令必须对密码文件有读写权限,否则会返回错误码。
生成:htpasswd -bc /usr/local/nginx/conf/nginxpasswd Securitit 000000
追加:htpasswd -b /usr/local/nginx/conf/nginxpasswd Csdn 111111
location / {
# 使用"HTTP基本身份认证"协议启用用户名和密码的验证。指定的参数用作realm,参数值可以包含变量(1.3.10、1.2.7)。设置特殊值off将关闭身份认证。
auth_basic "Please Input UserName And Password!";
# 指定存储用户名和密码的文件
auth_basic_user_file nginxpasswd;
}
应用系统中,对于目录的访问权限设置同样重要,但是一般不会使用"HTTP基本身份认证"这种方式。首先,面对大众用户,其表现形式显得很不友好,与现代Web UI的富表现技术相比,过于单薄。再者,使用密码文件的方式管理权限,过于笨重,当待管理的权限体量过大时,会造成很大的不变。
十、生产环境具体应用
#设置用户的权限 root nobody 指定 用户名虚拟机内用户 或者 Ip访问
#user nobody;
#设置工作进程数 一般为 Cpu核心*2 4*2
worker_processes 8;
# 日志输出参数
#error_log logs/error.log;
#error_log logs/error.log notice;
#error_log logs/error.log info;
# 进程ID
#pid logs/nginx.pid;
events {
#指定运行模型
use epoll;
# 工作连接数 默认512 根据自己的情况调整
worker_connections 1024;
}
#http模块
http {
# 能够支持的类型 在 这个文件下写着 mime.types
include mime.types;
# 默认的类型 在 application/octet-stream;
default_type application/octet-stream;
# 日志的格式
#log_format main '$remote_addr - $remote_user [$time_local] "$request" '
# '$status $body_bytes_sent "$http_referer" '
# '"$http_user_agent" "$http_x_forwarded_for"';
#访问日志记录
#access_log logs/access.log main;
#启动 发送文件
sendfile on;
# 开启TCP 推送
#tcp_nopush on;
# 连接超时时间
#keepalive_timeout 0;
keepalive_timeout 65;
# 开启压缩文件
#gzip on;
# 服务
# 服务分组 反向代理的核心关键
upstream test {
# ip 方式 最大失败3个连接 间隔 30S 权重为 5
server 127.0.0.1:8080 max_fails=3 fail_timeout=30s weight=5;
#根据ip 利用Hash算法决定访问哪台机器
ip_hash;
}
server {
listen 80;
server_name localhost;
#charset koi8-r;
#访问日志记录 以及位置
#access_log logs/host.access.log main;
# 匹配位置 支持正则表达式
location / {
# 寻找位置 默认在Nginx 目录下的 类型
root html;
index index.html index.htm;
proxy_pass http://127.0.0.1;
}
#错误信息 页面
#error_page 404 /404.html;
#将服务器错误页重定向到静态页/50x.html
# redirect server error pages to the static page /50x.html
#
error_page 500 502 503 504 /50x.html;
location = /50x.html {
root html;
}
#实例 入 将访问尾缀为 \.php 跳转到 127.0.0.1
# proxy the PHP scripts to Apache listening on 127.0.0.1:80
#
#location ~ \.php$ {
# proxy_pass http://127.0.0.1;
#}
#将PHP脚本传递给正在侦听127.0.0.1:9000的FastCGI服务器
# pass the PHP scripts to FastCGI server listening on 127.0.0.1:9000
#
#location ~ \.php$ {
# root html;
# fastcgi_pass 127.0.0.1:9000;
# fastcgi_index index.php;
# fastcgi_param SCRIPT_FILENAME /scripts$fastcgi_script_name;
# include fastcgi_params;
#}
#拒绝访问.htaccess文件,如果Apache的文档根
# deny access to .htaccess files, if Apache's document root
# concurs with nginx's one
#
#location ~ /\.ht {
# deny all;
#}
}
}