Web服务器群集：Nginx+Tomcat实现负载均衡与动静分离集群

目录

一、理论

1.多实例

2.Nginx负载均衡

3.Nginx动静分离

4.配置Nginx+Tomcat负载均衡

5.配置Nginx+Tomcat动静分离集群

6.Nginx 四层代理配置

二、实验

1.配置Nginx+Tomcat负载均衡

2.、配置Nginx+Tomcat动静分离集群

三、问题

1.服务器群集与集群的区别

2.正向代理与反向代理的区别

四、总结

---

一、理论

1.多实例

（1）概念

多实例就是在一台服务器上同时开启多个不同的服务端口，同时运行多个服务进程，这些服务进程通过不同的socket监听不同的服务端口来提供服务。

2.Nginx负载均衡

（1）原理

Nginx实现负载均衡是通过反向代理实现：

① Nginx 配置反向代理的主要参数；
② upstream 服务池名 {}配置后端服务器池，并提供相应数据；
③ proxy_pass http://服务池名  配置将访问请求转发给后端服务器池的服务器处理。

3.Nginx动静分离

（1）原理

服务端接收来自客户端的请求中，既有静态资源也有动态资源，静态资源由Nginx提供服务,

动态资源Nginx转发至后端。

 （2）优势

Nginx处理静态页面的效率远高于Tomcat的处理能力；

若Tomcat的请求量为1000次，则Nginx的请求量为6000次；

Tomcat每秒的吞吐量为0.6M，Nginx的每秒吞吐量为3.6M；

Nginx处理静态资源的能力是Tomcat处理的6倍。

4.配置Nginx+Tomcat负载均衡

（1）准备三台服务器，Nginx作为负载均衡器，Tomcat作为应用服务器

Nginx 服务器：192.168.204.150:80
Tomcat服务器1：192.168.204.250:8080(tomcat)
Tomcat服务器2：192.168.204.60:8080(tomcat1)  192.168.204.60:8081(tomcat2)

（2）部署Nginx 负载均衡器

systemctl stop firewalld
setenforce 0
 
yum -y install pcre-devel zlib-devel openssl-devel gcc gcc-c++ make
 
useradd -M -s /sbin/nologin nginx
 
cd /opt
tar zxvf nginx-1.24.0.tar.gz -C /opt/
 
cd nginx-1.24.0/
./configure \
--prefix=/usr/local/nginx \
--user=nginx \
--group=nginx \
--with-file-aio \									#启用文件修改支持
--with-http_stub_status_module \					#启用状态统计
--with-http_gzip_static_module \					#启用 gzip静态压缩
--with-http_flv_module \							#启用 flv模块，提供对 flv 视频的伪流支持
--with-http_ssl_module								#启用 SSL模块，提供SSL加密功能
 
 
make && make install
 
ln -s /usr/local/nginx/sbin/nginx /usr/local/sbin/
 
vim /lib/systemd/system/nginx.service
[Unit]
Description=nginx
After=network.target
[Service]
Type=forking
PIDFile=/usr/local/nginx/logs/nginx.pid
ExecStart=/usr/local/nginx/sbin/nginx
ExecrReload=/bin/kill -s HUP $MAINPID
ExecrStop=/bin/kill -s QUIT $MAINPID
PrivateTmp=true
[Install]
WantedBy=multi-user.target
 
chmod 754 /lib/systemd/system/nginx.service
systemctl start nginx.service
systemctl enable nginx.service

（3）部署2台Tomcat 应用服务器

①配置 Tomcat1：

systemctl stop firewalld
setenforce 0
 
cd /opt
rpm -qpl jdk-8u201-linux-x64.rpm 
rpm -ivh jdk-8u201-linux-x64.rpm 
java -version
 
vim /etc/profile.d/java.sh
export JAVA_HOME=/usr/local/jdk1.8.0_201-amd64
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
 
source /etc/profile.d/java.sh
 
tar zxvf apache-tomcat-9.0.76.tar.gz
 
mv /opt/apache-tomcat-9.0.76/ /usr/local/tomcat
 
/usr/local/tomcat/bin/shutdown.sh 
/usr/local/tomcat/bin/startup.sh
 
netstat -ntap | grep 8080

②配置 Tomcat2（Tomcat多实例部署）：

systemctl stop firewalld
systemctl disable firewalld
setenforce 0

cd /opt
rpm -qpl jdk-8u201-linux-x64.rpm 
rpm -ivh jdk-8u201-linux-x64.rpm 
java -version
 
在环境变量下创建子文件，方便管理
vim /etc/profile.d/java.sh
 
export JAVA_HOME=/usr/java/jdk1.8.0_201-amd64
export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar
export PATH=$JAVA_HOME/bin:$PATH
 
source /etc/profile.d/java.sh
java -version          #加载一下


cd /opt
tar zxvf apache-tomcat-9.0.76.tar.gz
mkdir /usr/local/tomcat
mv apache-tomcat-9.0.76 /usr/local/tomcat/tomcat1
cp -a /usr/local/tomcat/tomcat1 /usr/local/tomcat/tomcat2

vim /etc/profile.d/tomcat.sh
#tomcat1
export CATALINA_HOME1=/usr/local/tomcat/tomcat1
export CATALINA_BASE1=/usr/local/tomcat/tomcat1
export TOMCAT_HOME1=/usr/local/tomcat/tomcat1
 
#tomcat2
export CATALINA_HOME2=/usr/local/tomcat/tomcat2
export CATALINA_BASE2=/usr/local/tomcat/tomcat2
export TOMCAT_HOME2=/usr/local/tomcat/tomcat2
 
 
source /etc/profile.d/tomcat.sh


vim /usr/local/tomcat/tomcat2/conf/server.xml
<Server port="8006" shutdown="SHUTDOWN">		#22行，修改Server prot，默认为8005 -> 修改为8006
<Connector port="8081" protocol="HTTP/1.1"		#69行，修改Connector port，HTTP/1.1  默认为8080 -> 修改为8081
<Connector port="8010" protocol="AJP/1.3" redirectPort="8443" />	#122行，修改Connector port AJP/1.3，默认为8009 -> 修改为8010

③修改各 tomcat 实例中的 startup.sh 和 shutdown.sh 文件，添加 tomcat 环境变量

vim /usr/local/tomcat/tomcat1/bin/startup.sh 
# ---------------------------------------------------------------------------
# Start Script for the CATALINA Server
# ---------------------------------------------------------------------------
export CATALINA_BASE=$CATALINA_BASE1
export CATALINA_HOME=$CATALINA_HOME1
export TOMCAT_HOME=$TOMCAT_HOME1
 
 
vim /usr/local/tomcat/tomcat1/bin/shutdown.sh
# ---------------------------------------------------------------------------
# Stop script for the CATALINA Server
# ---------------------------------------------------------------------------
export CATALINA_BASE=$CATALINA_BASE1
export CATALINA_HOME=$CATALINA_HOME1
export TOMCAT_HOME=$TOMCAT_HOME1
 
 
vim /usr/local/tomcat/tomcat2/bin/startup.sh 
# ---------------------------------------------------------------------------
# Start Script for the CATALINA Server
# ---------------------------------------------------------------------------
export CATALINA_BASE=$CATALINA_BASE2
export CATALINA_HOME=$CATALINA_HOME2
export TOMCAT_HOME=$TOMCAT_HOME2
 
 
vim /usr/local/tomcat/tomcat2/bin/shutdown.sh
# ---------------------------------------------------------------------------
# Stop script for the CATALINA Server
# ---------------------------------------------------------------------------
export CATALINA_BASE=$CATALINA_BASE2
export CATALINA_HOME=$CATALINA_HOME2
export TOMCAT_HOME=$TOMCAT_HOME2

④启动各 tomcat 中的 /bin/startup.sh

/usr/local/tomcat/tomcat1/bin/startup.sh 
/usr/local/tomcat/tomcat2/bin/startup.sh 
 
netstat -natp | grep java

⑤浏览器访问测试

http://192.168.204.60:8080 
http://192.168.204.60:8081

5.配置Nginx+Tomcat动静分离集群

（1）Tomcat1 server 配置

mkdir /usr/local/tomcat/webapps/test
vim /usr/local/tomcat/webapps/test/index.jsp
<%@ page language="java" import="java.util.*" pageEncoding="UTF-8"%>
<html>
<head>
<title>JSP test1 page</title>   #指定为 test1 页面
</head>
<body>
<% out.println("动态页面 1,http://www.test1.com");%>
</body>
</html>
 
 
cd /usr/local/tomcat/conf/
cp server.xml{,.bak}     #备份一下配置文件
 
vim /usr/local/tomcat/conf/server.xml
#由于主机名 name 配置都为 localhost，需要删除前面的 HOST 配置
<Host name="localhost" appBase="webapps" unpackWARs="true" autoDeploy="true" xmlValidation="false" xmlNamespaceAware="false">
	<Context docBase="/usr/local/tomcat/webapps/test" path="" reloadable="true">
	</Context>
</Host>
 
 
/usr/local/tomcat/bin/shutdown.sh 
/usr/local/tomcat/bin/startup.sh    #重启

（2）Tomcat2 server 配置(多实例)

mkdir /usr/local/tomcat/tomcat1/webapps/test /usr/local/tomcat/tomcat2/webapps/test
 
vim /usr/local/tomcat/tomcat1/webapps/test/index.jsp
<%@ page language="java" import="java.util.*" pageEncoding="UTF-8"%>
<html>
<head>
<title>JSP test2 page</title>   #指定为 test2 页面
</head>
<body>
<% out.println("动态页面 2,http://www.test2.com");%>
</body>
</html>
 
vim /usr/local/tomcat/tomcat1/conf/server.xml
#删除前面的 HOST 配置
<Host name="localhost" appBase="webapps" unpackWARs="true" autoDeploy="true" xmlValidation="false" xmlNamespaceAware="false">
	<Context docBase="/usr/local/tomcat/tomcat1/webapps/test" path="" reloadable="true" />
</Host>
 
/usr/local/tomcat/tomcat1/bin/shutdown.sh 
/usr/local/tomcat/tomcat1/bin/startup.sh 
 
 
vim /usr/local/tomcat/tomcat2/webapps/test/index.jsp
<%@ page language="java" import="java.util.*" pageEncoding="UTF-8"%>
<html>
<head>
<title>JSP test3 page</title>   #指定为 test3 页面
</head>
<body>
<% out.println("动态页面 3,http://www.test3.com");%>
</body>
</html>
 
 
vim /usr/local/tomcat/tomcat2/conf/server.xml
#删除前面的 HOST 配置
<Host name="localhost" appBase="webapps" unpackWARs="true" autoDeploy="true" xmlValidation="false" xmlNamespaceAware="false">
	<Context docBase="/usr/local/tomcat/tomcat2/webapps/test" path="" reloadable="true" />
</Host>
 
/usr/local/tomcat/tomcat2/bin/shutdown.sh 
/usr/local/tomcat/tomcat2/bin/startup.sh

（3）Nginx server 配置

准备静态页面和静态图片：

echo '<html><body><h1>这是静态页面</h1></body></html>' > /usr/local/nginx/html/index.html
mkdir /usr/local/nginx/html/img
cp /root/game.jpg /usr/local/nginx/html/img
 
vim /usr/local/nginx/conf/nginx.conf
......
http {
......
	#gzip on;
	
	#配置负载均衡的服务器列表，weight参数表示权重，权重越高，被分配到的概率越大
	upstream tomcat_server {
		server 192.168.204.250:8080 weight=1;
		server 192.168.204.60:8080 weight=1;
		server 192.168.204.60:8081 weight=1;
	}
	
	server {
		listen 192.168.204.150:80;
		server_name www.david.com;
	
		charset utf-8;
	
		#access_log logs/host.access.log main;
		
		#配置Nginx处理动态页面请求，将 .jsp文件请求转发到Tomcat 服务器处理
		location ~ .*\.jsp$ {
			proxy_pass http://tomcat_server;
#设置后端的Web服务器可以获取远程客户端的真实IP
##设定后端的Web服务器接收到的请求访问的主机名（域名或IP、端口），默认HOST的值为proxy_pass指令设置的主机名。如果反向代理服务器不重写该请求头的话，那么后端真实服务器在处理时会认为所有的请求都来在反向代理服务器，如果后端有防攻击策略的话，那么机器就被封掉了。
			proxy_set_header HOST $host;
##把$remote_addr赋值给X-Real-IP，来获取源IP
			proxy_set_header X-Real-IP $remote_addr;
##在nginx 作为代理服务器时，设置的IP列表，会把经过的机器ip，代理机器ip都记录下来
			proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
		}
		
		#配置Nginx处理静态图片请求
		location ~ .*\.(gif|jpg|jpeg|png|bmp|swf|css)$ {
			root /var/www/html/jack;
			expires 10d;
		}
		
		location / {
			root html;
			index index.html index.htm;
		}
......
	}
......
}

（4）测试

测试静态页面效果
浏览器访问 http://192.168.204.150/
浏览器访问 http://192.168.204.150/game.jpg

测试负载均衡效果，不断刷新浏览器测试
浏览器访问 http://192.168.204.150/index.jsp

6.Nginx 四层代理配置

和http同等级：所以一般只在http上面一段设置：

stream {
    log_format  main  '$remote_addr $upstream_addr - [$time_local] $status $upstream_bytes_sent';
    access_log  /var/log/nginx/access.log  main;

	
    upstream appserver{
		server 192.168.204.250:8080 weight=1;
		server 192.168.204.60:8080 weight=1;
		server 192.168.204.60:8081 weight=1;
    }
    server {
        listen 8080;
        proxy_pass appserver;
    }
}
 
http {
......
 
注：配置4层代理，记得在Nginx中添加 --with-stream 模块

二、实验

1.配置Nginx+Tomcat负载均衡

（1）查看nginx版本

 （2）启动Tomcat1

 （3）安装并启动Tomcat2（Tomcat多实例部署）：

①安装 tomcat并设置环境变量

 ②更新配置文件

 ③修改 tomcat2 中的 server.xml 文件，要求各 tomcat 实例配置不能有重复的端口号

④修改 tomcat 1实例中的 startup.sh 和 shutdown.sh 文件，添加 tomcat 环境变量

 

⑤修改 tomcat 2实例中的 startup.sh 和 shutdown.sh 文件，添加 tomcat 环境变量

 

 ⑥启动各 tomcat 中的 /bin/startup.sh

 ⑦监听端口

⑧浏览器访问测试

http://192.168.204.60:8080 

http://192.168.204.60:8081

2.、配置Nginx+Tomcat动静分离集群

（1）Tomcat1 server 配置

①配置jsp网页

②备份

③HOST配置

 

 ④主机名更新

 ⑤关闭并重启服务

(2)Tomcat2 server 配置(多实例)

①tomcat1配置jsp网页

②tomcat2配置jsp网页

③HOST配置

④关闭并重启服务

tomcat1(192.168.204.60:8080 )

tomcat2( 192.168.204.60:8081)

 （3）Nginx server 配置

①配置网页

②配置负载均衡的服务器列表，weight参数表示权重，权重越高，被分配到的概率越大

 ③配置Nginx处理动态页面请求，将 .jsp文件请求转发到Tomcat 服务器处理

④配置Nginx处理静态图片请求

⑤重启服务

 

 ⑥检查语法

 ⑦测试静态页面效果

浏览器访问 http://192.168.204.150/

浏览器访问 http://192.168.204.150/game.jpg

 

 ⑧测试负载均衡效果，不断刷新浏览器测试
浏览器访问 http://192.168.204.150/index.jsp

刷新第1次

 刷新第2次

 刷新第3次

三、问题

1.服务器群集与集群的区别

（1）群集

群集服务器是一组独立的服务器，运行群集服务，并象单个系统一样运作。群集服务器的目的是，在出故障或断电的情况下，保证客户对应用程序和资源的访问。

（2）集群

集群就是一组计算机，它们作为一个整体向用户提供一组网络资源。

2.正向代理与反向代理的区别

（1）正向代理

正向代理是代理用户客户端，为客户端发送请求，对服务器隐藏自己的真实客户端。

（2）反向代理

反向代理是指以代理服务器来接收客户端的请求，然后将请求转发给内部网络上的服务器，将从服务器上得到的结果返回给客户端。

（3）用途

①正向代理：

突破访问显示：通过代理服务器，可以突破自身ip访问限制，访问国外网站等；

提高访问速度：通常代理服务器都设置一个较大的硬盘缓冲区，会将部分请求的响应保存到缓冲区中，当其他用户再访问相同的信息时，则直接由缓冲区中取出信息，传给用户，以提高访问速度；

提高客户端的安全性和性能。

②反向代理：

负载均衡：根据服务器的负载情况，将客户端请求分发到不同的真实服务器上，从而避免过载;

提高访问速度：反向代理服务器可以对静态内容及短时间内有大量访问请求的动态内容提供缓存服务，提高访问速度;

防止被攻击：如果网站使用反向代理，则其服务器地址是隐藏的;

缓存：反向代理服务器可以用来缓存网站内容，提高网站性能;

SSL加密：为每个用户加密和解密安全套接字层(SSL)通信对于源服务器可能无效，反向代理可以通过加密和解密所有请求来完成这项工作。

（4）异同点

①相同点

都起到了连接与保护的作用，正向代理和反向代理所处的位置都是客户端和真实服务器之间，所做的事情也都是把客户端的请求转发给服务器，再把服务器的响应转发给客户端。

都能提高访问速度。

②不同点

正向代理是用户客户端的代理，服务器不知道真正的客户端是谁;反向代理是服务器的代理，客户端不知道真正的服务器是谁;

正向代理架设在客户机和目标主机之间，反向代理架设在网络服务器端;

正向代理主要是用来解决访问限制问题;反向代理则是提供负载均衡、安全防护等作用。

四、总结

多实例是在一台服务器上同时开启多个不同的服务端口，同时运行多个服务进程，这些服务进程通过不同的socket监听不同的服务端口来提供服务。

Nginx实现负载均衡是通过反向代理实现。

Nginx动静分离中静态资源由Nginx提供服务,动态资源Nginx转发至后端。

正向代理是代理用户客户端，为客户端发送请求，对服务器隐藏自己的真实客户端。

反向代理是指以代理服务器来接收客户端的请求，然后将请求转发给内部网络上的服务器，将从服务器上得到的结果返回给客户端。