谷粒商城-nginx搭建域名访问环境&&性能压测

已于 2024-02-22 08:38:44 修改
阅读量980 收藏 31
点赞数 11
分类专栏： 谷粒商城 文章标签： nginx 运维
于 2024-02-22 07:44:48 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44925329/article/details/135336898
版权

nginx搭建域名访问环境

正向代理与反向代理

正向代理：客户端向代理服务器发请求并指定目标服务器，代理向目标服务器转交请求并将获得的内容返回给客户端。
反向代理：用户直接访问反向代理服务器就可以获得目标服务器的资源。反向代理服务器统一了访问入口。反向代理是对外界屏蔽了很多内部的信息

需求

访问“gulimall.com”，Nginx反向代理到网关地址“http://localhost:88/#”，展示商品页面

大致流程

在这里插入图片描述

配置反向代理-使得访问gulimall时访问nginx

windows域名解析会先找C:\Windows\System32\drivers\etc下的hosts文件，然后才找dns服务器
当我们在浏览器输入gulimall.com的时候，就会去找我们的虚拟机，此时虚拟机中的nginx是运行的话，就可以访问到nginx，因为nginx监听的是80端口

192.168.56.10	gulimall.com
方法一 直接使用nginx反向代理 使所有gulimall.com都转到首页

配置nginx.conf的主要内容
在这里插入图片描述
配置/etc/nginx/conf.d/gulimall.conf
监听gulimall.com域名 将其定位到首页
在这里插入图片描述

使用nginx将请求反向代理到网关

配置nginx.conf
在http中配置上由服务器 实现nginx负载均衡

upstream gulimall{        #配置上游服务器,起名为gulimall
      server 192.168.56.1:88;    #配置上游服务器为网关地址
    }
 
include /etc/nginx/conf.d/*.conf;    #该路径下的配置文件会全部合并到这里

修改/etc/nginx/conf.d/gulimall.conf

location / {    #配置请求的路由
       proxy_pass http://gulimall;    #因为主配置文件配置了上游服务器为网关地址，所以可以请求路由到=
    }

网关配置

- id: gulimall_host_route
          uri: lb://gulimall-product
          predicates:
            - Host=**.gulimall.com

踩坑：
nginx正确处理转发api请求到网关 但是主页访问失败
原因：nginx转发请求给网关时会丢失掉请求的host信息
解决方法：配置请求头

proxy_set_header Host $host;

压力测试

压力测试考察当前软硬件环境下系统所能承受的最大负荷并帮助找出系统瓶颈所在。使用压力测试， 我们有希望找到很多种用其他测试方法更难发现的错误。 有两种错误类型是:内存泄漏， 并发与同步问题。
内存泄漏：内存泄漏（Memory Leak）是指程序中已动态分配的堆内存由于某种原因程序未释放或无法释放，造成系统内存的浪费，导致程序运行速度减慢甚至系统崩溃等严重后果。
并发与同步：有效的压力测试系统将应用以下这些关键条件:重复， 并发， 量级， 随机变化

压力测试的性能指标

响应时间：响应时间指用户从客户端发起一个请求开始，到客户端接收到从服务器端返回的响应结束，整个过程所耗费的时间。响应时间越少越好。
HPS（Hits Per Second）:每秒点击次数，单位是次/秒。
TPS(Transaction per Second）:系统每秒处理交易数，单位是笔/秒。
Qps(Query per Second）:系统每秒处理查询次数，单位是次/秒。
一般情况下用 TPS来衡量整个业务流程，用QPS来衡量接口查询次数，用HPS来表示对服务器单击请求。
无论TPS、QPS、HPS,此指标是衡量系统处理能力非常重要的指标，越大越好，根据经验，一般情况下:
金融行业:1000TPS~5000OTPS，不包括互联网化的活动
保险行业:100TPS~10000OTPS，不包括互联网化的活动
制造行业:10TPS~5000TPS
互联网电子商务:1000OTPS~1000000TPS
互联网中型网站:1000TPS~50000TPS
互联网小型网站:500TPS~10000TPS
最大响应时间（MaxResponse Time）指用户发出请求或者指令到系统做出反应(响应)的最大时间。
最少响应时间(Mininum ResponseTime）指用户发出请求或者指令到系统做出反应(响应）的最少时间。
90%响应时间（90%Response Time）是指所有用户的响应时间进行排序，第90%的响应时间。

JMeter 压测示例

添加线程组 ：右键“test plan” 添加

线程组参数详解：
线程数： 虚拟用户数。 一个虚拟用户占用一个进程或线程。 设置多少虚拟用户数在这里也就是设置多少个线程数。
Ramp-Up时间： 200个线程需要多少秒内全部启动完成。 如果线程数为 10， 准备时长为 2， 那么需要 2 秒钟启动 10 个线程， 也就是每秒钟启动 5 个线程。
循环次数： 每个线程发送请求的次数。勾选“永远”会一直压力测试下去。 如果线程数为 10， 循环次数为 100， 那么每个线程发送 100 次请求。 总请求数为 10*100=1000 。 如果勾选了“永远”， 那么所有线程会一直发送请求， 一到选择停止运行脚本。
Delay Thread creation until needed： 直到需要时延迟线程的创建。
调度器： 设置线程组启动的开始时间和结束时间(配置调度器时， 需要勾选循环次数为永远)
持续时间（秒） ： 测试持续时间， 会覆盖结束时间
启动延迟（秒） ： 测试延迟启动时间， 会覆盖启动时间
启动时间： 测试启动时间， 启动延迟会覆盖它。 当启动时间已过， 手动只需测试时当前时间也会覆盖它。
结束时间： 测试结束时间， 持续时间会覆盖它。
在结果树和汇总报告中查看请求结果

添加 HTTP 请求

在这里插入图片描述

本机压测错误解决JMeter Address Already in use

出现原因
windows 本身提供的端口访问机制的问题。
Windows 提供给 TCP/IP 链接的端口为 1024-5000， 并且要四分钟来循环回收他们。 就导致我们在短时间内跑大量的请求时将端口占满了。
解决思路
扩大提供给 TCP/IP 链接的端口
缩短循环回收时间
通过修改windows配置文件解决

性能监控

概念讲解

影响性能考虑点包括：数据库、 应用程序、 中间件（tomact、 Nginx） 、 网络和操作系统等方面
首先考虑自己的应用属于 CPU 密集型（以空间换时间 大量计算数据）还是 IO 密集型（以时间换空间 大量读取数据）
JVM内存模型
在这里插入图片描述
程序计数器 Program Counter Register：
记录的是正在执行的虚拟机字节码指令的地址，
此内存区域是唯一一个在JAVA虚拟机规范中没有规定任何OutOfMemoryError的区域
虚拟机栈： VM Stack
描述的是 JAVA 方法执行的内存模型， 每个方法在执行的时候都会创建一个栈帧，用于存储局部变量表， 操作数栈， 动态链接， 方法接口等信息
 局部变量表存储了编译期可知的各种基本数据类型、 对象引用
 线程请求的栈深度不够会报 StackOverflowError 异常
 栈动态扩展的容量不够会报 OutOfMemoryError 异常
 虚拟机栈是线程隔离的， 即每个线程都有自己独立的虚拟机栈
本地方法： Native Stack
本地方法栈类似于虚拟机栈， 只不过本地方法栈使用的是本地方法
堆： Heap
几乎所有的对象实例都在堆上分配内存
Java源文件编译成.class字节码文件 ，.class字节码文件被JVM的类装载器装载到JVM里，所有数据都在“运行时数据区”。性能优化主要是优化“运行时数据区”中的“堆”。
在这里插入图片描述
Java垃圾清理主要在堆区，元数据区直接操控物理内存
堆
所有的对象实例以及数组都在堆上分配。 堆是垃圾收集器管理的主要区域， 也被称为“GC堆” ，也是我们优化最多考虑的地方。
新生代
Eden 空间
From Survivor 空间
To Survivor 空间
老年代
永久代/元空间
Java8 以前永久代， 受 jvm 管理， java8 以后元空间， 直接使用物理内存。 因此，默认情况下， 元空间的大小仅受本地内存限制。
创建对象放到堆内存的流程：
1.首先，任何新对象都分配到 eden 空间。两个幸存者空间开始时都是空的。
2.当 eden 空间填满时，将触发一个Minor GC(年轻代的垃圾回收)，删除所有未引用的对象，大对象（需要大量连续内存空间的Java对象，如那种很长的字符串）直接进入老年代。
3.所有被引用的对象作为存活对象，将移动到第一个幸存者空间S0，并标记年龄为1，即经历过一次Minor GC。之后每经过一次Minor GC，年龄+1。
4.当 eden 空间再次被填满时，会执行第二次Minor GC，将Eden和S0区中所有垃圾对象清除，并将存活对象复制到S1并年龄加1，此时S0变为空。
5.如此反复在S0和S1之间切换几次之后，还存活的年龄等于15的对象在下一次Minor GC时将放到老年代中。
6.当老年代满了时会触发FullGC（全GC），Full GC 清理整个堆 – 包括年轻代和老年代。
7.Major GC是老年代的垃圾回收，经常会伴随至少一次Minor GC，比Minor GC慢10倍以上

Minor GC：清理年轻代空间（包括 Eden 和 Survivor 区域），释放在Eden中所有不活跃的对象，释放后若Eden空间仍然不足以放入新对象，则试图将部分Eden中活跃对象放入Survivor区。
Survivor区：Survivor区被用来作为Eden及老年代的中间交换区域，当老年代空间足够时，Survivor区的对象会被移到老年代，否则会被保留在Survivor区。
Major GC：清理老年代空间，当老年代空间不够时，JVM会在老年代进行major gc。
Full GC：清理整个堆空间，包括年轻代和老年代空间。Full GC比Minor GC慢十倍，应该尽量避免。
在这里插入图片描述
详细流程图
在这里插入图片描述

使用 jvisualvm监控本地和远程应用

Jdk 的两个小工具 jconsole、 jvisualvm（升级版的 jconsole） ;通过命令行启动， 可监控本地和远程应用。 远程应用需要配置
这里使用jvisualvm
1）监控线程状态
在这里插入图片描述
线程状态：
运行： 正在运行的
休眠： sleep
等待： wait
驻留： 线程池里面的空闲线程
监视： 阻塞的线程， 正在等待锁
2）安装Visual GC插件监控GC状态
在这里插入图片描述

监控指标

GC

在这里插入图片描述
当前正在运行的线程数不能超过设定的最大值。 一般情况下系统性能较好的情况下， 线程数最小值设置 50 和最大值设置 200 比较合适。
当前运行的 JDBC 连接数不能超过设定的最大值。 一般情况下系统性能较好的情况下，JDBC 最小值设置 50 和最大值设置 200 比较合适。
ＧC频率不能频繁， 特别是 FULL GC 更不能频繁， 一般情况下系统性能较好的情况下，JVM 最小堆大小和最大堆大小分别设置 1024M 比较合适。

数据库

在这里插入图片描述

SQL 耗时越小越好， 一般情况下微秒级别。
命中率越高越好， 一般情况下不能低于 95%。
锁等待次数越低越好， 等待时间越短越好

压测与优化

压测

压测nginx

docker stats查看nginx的运行状况，比如CPU、内存占有率、IO情况等
JMeter 压力测试：
设置虚拟机地址以及nginx端口监控nginx
在这里插入图片描述
得出结论nginx比较浪费CPU

压测网关

JMeter添加请求后运行：
在这里插入图片描述
这里是服务器本机地址和端口88
查看jvisualvm 发现网关对CPU的占用率同样比较高

简单服务
@ResponseBody
    @GetMapping("/hello")
    public String hello() {
        return "hello";
    }

检测结果

压测内容压测线程数吞吐量/s90%响应时间99%响应时间
Nginx50233511944
Gateway5010367831
简单服务5011341817
Gateway+简单服务

两者结合之后吞吐量下降
检测结果

压测内容压测线程数吞吐量/s90%响应时间99%响应时间
Gateway+简单服务50312430125
中间件越多，性能损失越大，大多损失在网络交互
全链路（nginx+GateWay+简单服务）
压测内容压测线程数吞吐量/s90%响应时间99%响应时间
Gateway+简单服务50312430125
全链路5080088310
压测首页一级菜单
压测内容压测线程数吞吐量/s90%响应时间99%响应时间
首页一级菜单渲染50270(慢的原因：db,thymeleaf)267365

分析得出慢的原因可能是数据库和thymeleaf渲染

压测三级分类
压测内容压测线程数吞吐量/s90%响应时间99%响应时间
首页一级菜单渲染50270(慢的原因：db,thymeleaf)267365
三级分类数据获取502(db)……

慢的原因是数据库

压测全量网页（包括静态资源）
压测内容压测线程数吞吐量/s90%响应时间99%响应时间
首页一级菜单渲染50270(慢的原因：db,thymeleaf)267365
三级分类数据获取502(db)……
首页全量数据获取507(静态资源)

慢的原因是静态资源

优化方向

1.数据库
2.thymeleaf渲染
3.静态资源

首页一级菜单优化

1）开启thymeleaf缓存

压测内容压测线程数吞吐量/s90%响应时间99%响应时间
首页一级菜单渲染50270(慢的原因：db,thymeleaf)267365
首页渲染（开缓存）50290251365

性能有一定提升
2）优化数据库
①一级分类根据parent_id查询 维奇加上索引

压测内容压测线程数吞吐量/s90%响应时间99%响应时间
首页一级菜单渲染50270(慢的原因：db,thymeleaf)267365
首页渲染（开缓存）50290251365
首页渲染（开缓存、 优化数据库）50700105183
全量数据获取优化
Nginx动静分离

在这里插入图片描述
为什么要动静分离
未分离的项目静态资源放在后端,无论是动态请求还是静态请求都会来到后台,这极大的损耗了后台Tomcat性能(大部分性能都用来处理静态请求)
动静分离后,后台只会处理动态请求,而静态资源直接由nginx返回。
具体步骤
在这里插入图片描述
1.静态资源存到Nginx里
1）在nginx的html目录下新建一个static目录用来存放静态资源
2）将gulimall-product的静态资源复制到该目录,并将本地静态资源删除
3）templates里文件静态资源路径前“static”
4）在nginx配置静态资源的路径映射
进入配置文件

vim /mydata/nginx/conf/conf.d/gulimall.conf 


#监听gulimall.com:80/static
location /static {
    root  /usr/share/nginx/html;       #资源在这个文件夹下匹配
}

优化结果

压测内容压测线程数吞吐量/s90%响应时间99%响应时间
首页全量数据获取507(静态资源)
首页全量数据获取5011

发现老年代GC问题
解决方法
调大堆内存
-Xmx1024m -Xms1024m -Xmn512m
-Xms :初始堆大小
-Xmx :最大堆大小
-Xmn :堆中新生代初始及最大大小

三级分类数据获取优化

每次遍历一级分类列表里的元素，都要查一次数据库
解决方法1：将数据库的多次查询变为一次
将查询的分类结果放入list，以后每次在list中获取即可

private List<CategoryEntity> getParent_cid(List<CategoryEntity> selectList,Long parentCid) {
        List<CategoryEntity> categoryEntities = selectList.stream().filter(item -> item.getParentCid().equals(parentCid)).collect(Collectors.toList());
        return categoryEntities;
    }
压测内容压测线程数吞吐量/s90%响应时间99%响应时间
三级分类数据获取502(db)……
三级分类数据获取50111571896
没脑袋的喵
关注
  • 11
    点赞
  • 踩
  • 31
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
谷粒商城项目总结--Nginx
AgoniL的博客
08-10 236
安装见环境篇 文档 配置文件全局块events块http块server块 全局块 用户组 user nginx; work进程数量配置 worker_processes auto; 错误日志位置 error_log /var/log/nginx/error.log notice; pid文件位置 pid /var/run/nginx.pid; events块 每个进程最大连接数 worker_connections 1024; http块 支持的mime类型 in
谷粒商城 Nginx
qq_45743985的博客
10-18 353
Nginx 在hosts中设置192.168.43.65 qingmangmall.com 利用nginx转到网关（记得关防火墙） 1、Nginx+网关+openFeign的逻辑 要实现的逻辑：本机浏览器请求qingmangmall.com，通过配置hosts文件之后，那么当你在浏览器中输入qingmangmall.com的时候，相当于域名解析DNS服务解析得到ip 192.168.56.10，也就是并不是访问java服务，而是先去找nginx。什么意思呢？是说如果某一天项目上线了，qingmang
如何对Nginx进行压力测试？
最新发布
长风破浪会有时的博客
05-20 199
想象一下，你有一个非常结实的玩具车，你想知道这个玩具车最多能承载多少重量。这个过程就像是压力测试，只是我们这里是要测试Nginx服务器，而不是玩具车。Nginx压力测试是为了看看Nginx在面对很多请求时，能不能正常工作，会不会崩溃。这很重要，因为如果很多人同时访问一个网站，而服务器承受不住，那网站可能就会出问题了。就会开始模拟用户访问，并且会输出一些测试结果，比如每秒钟能处理多少请求，平均响应时间是多少等等。通过这些信息，你就可以知道你的Nginx服务器在面对压力时的表现了。首先，你需要确保已经安装了。
谷粒商城-nginx
weixin_56674682的博客
04-20 4782
目录 搭建域名访问环境一(反向代理配置) 搭建域名访问环境二(负载均衡到网关) 搭建域名访问环境一(反向代理配置) 正向代理：就是你想访问给GitHub但是访问不到，因此，你配置代理服务器的地址去访问GitHub 反向代理：就是为了不让服务的地址暴露，通过访问nginx来访问服务 域名解析的规则： ①先解析本机是否有相应的映射规则 访问localhost即访问127.0.0.1 ②DNS域名解析获取相应的ip地址 由于每次修改hosts文件太麻烦了，因此，安装S...
谷粒商城--nginx--高级篇笔记四
qq_31745863的博客
11-15 3183
谷粒商城–nginx–高级篇笔记四 1. nginx搭建域名访问 (反向代理) 1.1 动静分离 1.2 正向代理与反向代理 正向代理隐藏客户端 反向代理隐藏服务端 1.3 nginx与windows搭建域名访问环境 为什么能够通过修改host文件来实现域名访问? 众所周知域名解析是通过dns来解析的,但是在通过网络的dns解析之前需要找到本机的host文件查询是否有对应的域名映射,如果有就通过映射的域名地址访问,如果没有再访问dns 1.3.1 通过改host文件的方法就可以实现 host文件
谷粒商城nginx配置
caonidayecsdn的博客
09-11 661
2 配置 流程是监听80端口，gulimail.com，然后代理到上游服务器，inculd config.d文件里里修改。1， 配置上游服务器 （网关） 主配置文件里修改。
Java打怪之路----谷粒商城Nginx与Redis
weixin_44020747的博客
06-08 287
nginx、redis、分布式锁
nginx-1.14.0&zlib-1.2.11&pcre-8.42
04-21
在IT行业中，构建高效、可靠的Web服务器是至关重要的任务，其中Nginx是一个广受欢迎的选择。这个压缩包“nginx-1.14.0&zlib-1.2.11&pcre-8.42”包含了三个关键组件，它们是Nginx 1.14.0、Zlib 1.2.11和PCRE 8.42，...
ingress-nginx-controller-1.9.yaml
10-18
Nginx Ingress 控制器是广泛应用的一种解决方案，通过配置 Ingress 规则，可以实现基于域名和路径的路由转发，灵活地管理服务的访问策略。本文将深入探讨 ingress-nginx 控制器的安装与使用，以及如何验证其配置是否...
nginx-http-flv-module(windows & nginx1.19.3 & http-flv-module1.2.7).zip
10-10
1、最新版 nginx-http-flv-module（windows可执行程序，含nginx 1.19.3，http-flv-module：1.2.7） 2、内含说明文档，请下载查看。 3、请勿放置于中文路径下，否则无法启动
ingress-nginx-controller（含镜像和代码）.rar
10-28
Nginx 作为业界广泛使用的高性能反向代理服务器，其稳定性和性能使得 ingress-nginx 成为了 Kubernetes 集群的首选 ingress 控制器。 二、Ingress 资源理解 Ingress 是 Kubernetes 中的一个 API 对象，用于定义...
nginx-http-flv-module(linux & nginx1.19.3 & http-flv-module1.2.7).zip.zip
10-15
1、最新版 nginx-http-flv-module（linux可执行程序，含nginx 1.19.3，http-flv-module：1.2.7） 2、内含说明文档，请下载查看。 3、请勿放置于中文路径下，否则无法启动 4、sbin/nginx -c conf/nginx.conf
谷粒商城高级篇之nginx部署
TryJavva的博客
07-08 2047
本机通过nginx搭建域名访问环境 按照正常的流程，我们需要一个公网ip地址，再为公网ip地址绑定域名。 当前处于开发环境，我们使用nginx搭建域名访问环境。 首先了解一下，什么是正向代理与反向代理。 正向代理就是我们发出请求给服务器，服务器将我们的请求转发给互联网。 反向代理就是为了更好的保护后端集群不被攻击，从而找一台服务器暴露在外，用户想要访问内部信息，需要通过公网ip访问代理服务器从而转发给相应服务。 首先当我们输入一个域名地址时，查看系统内部的域名映射规则，要是有的话，浏览器直接跳转。要是系
谷粒商城Nginx转网关(二十一)
qq_29860591的博客
06-18 708
136、商城业务-首页-整合thymeleaf渲染首页 -140、商城业务-nginx-搭建域名访问环境二（负载均衡到网关) 坑主要出现在我服务器的虚拟机访问不到我的本地访问，所以nginx暂时不能在上面，自己在本地测试的话，就先安装在本地虚拟机上，到后面带上都部署到k8s上，在切换到服务器虚拟机上。 渲染代码： @GetMapping({"/", "index.html...
谷粒商城高级篇01(环境搭建nginx)
柠檬不萌的博客
01-16 647
我们高级篇篇02介绍了获取三级前端三级分类，这里进行补充，nginx动静分离，前端页面渲染thymeleaf等…
使用云服务器nginx配置访问谷粒商城
子牧的博客
01-08 1947
云服务器nginx配置访问谷粒商城,看不懂可以问,禁止转载
谷粒商城：17.商城业务 — Nginx搭建域名访问
KaiSarH
05-09 1190
谷粒商城：17.商城业务 — Nginx搭建域名访问
谷粒商城6：nginx反向代理与性能优化
qq_44724899的博客
12-08 1190
学习
谷粒商城-商城业务（首页渲染和nginx）
不管多大的困难都要跨过去
10-14 744
谷粒商城-商城业务（首页渲染）
kubectl set image deploy deployment-nginx nginx=nginx:1.17.4 -n dev && kubectl rollout pause deploy deployment-nginx
05-14
`kubectl set image deploy deployment-nginx nginx=nginx:1.17.4 -n dev && kubectl rollout pause deploy deployment-nginx` 这个命令的作用是更新名为 `deployment-nginx` 的部署中的 `nginx` 容器镜像为 `nginx:1.17.4`，并将其应用到名为 `dev` 的命名空间中。然后，使用 `kubectl rollout pause deploy deployment-nginx` 命令暂停该部署的滚动更新过程。 这个命令可以用于在不中断服务的情况下更新容器镜像。通过暂停滚动更新，可以确保在更新过程中不会启动新的副本，从而避免潜在的问题。在确认更新无误后，可以使用 `kubectl rollout resume deploy deployment-nginx` 命令恢复滚动更新。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

没脑袋的喵

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值