秒杀项目总结

最新推荐文章于 2023-08-09 08:00:00 发布
最新推荐文章于 2023-08-09 08:00:00 发布
阅读量920 收藏
点赞数 1
分类专栏： Java项目 文章标签： java 数据库 开发语言 spring boot
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kkh01421/article/details/126549401
版权

项目技术

前端

Thymeleaf+BootStrap+Jquery

后端

springBoot（2.6.1）+MyBaitsPlus（3.5.0）+Lombok+MySQL（5.7）

中间件

RabbitMQ（3.8.5）+Redis（6.2.1）

项目架构图

在这里插入图片描述

项目亮点

  • 使用分布式Session技术，可以让多台服务器同时响应
  • 使用页面静态化，加快用户访问速度，提高QPS，缓存页面至浏览器，前后端分离降低服务器压力
  • 使用redis做缓存提高访问速度和并发量，减少数据库压力，利用内存标记减少redis的访问
  • 使用消息队列完成异步下单，提升用户体验，削峰和降流
  • 安全性优化：双重md5密码校验，秒杀接口地址的隐藏，接口限流防刷，数学公式验证码

秒杀流程

  • 用户登录进入商品列表页面，静态资源在redis进行缓存
  • 点击商品进入商品详情页面，静态资源在redis缓存，使用Ajax获取验证码等动态信息
  • 点击秒杀, 将验证码结果和商品ID传给后端，如果结果正确。动态生成随机串UUID,结合用户ID和商品ID存入redis，并将path传给前端。前端获取path后，再根据path地址调用秒杀服务
  • 服务端获取path参数，redis查找缓存是否存在
  • 如果存在，并且Redis库存大于0，预减Redis库存，查看是否生成订单，防止重复抢购，如果订单不存在，将请求存入消息队列
  • 从消息队列中取消息：获取商品ID和用户ID，判断数据库库存，然后下单
  • 下单：减少库存，生成订单
  • 前端轮询订单生成结果，50ms继续轮询或者秒杀是否成功和失败

项目完整流程

一.项目框架搭建

1、搭建SpringBoot环境
2、集成集成Thymeleaf，RespBean
3、Mybaits连接数据库

二.分布式会话

1、用户登录功能实现

  • 创建用户表
  • 明文密码两次MD5加密
    原因：用户端MD5加密是为了防止用户密码在网络中明文传输，服务端MD5加密是为了提高密码安全性，双 重保险。
  • 参数校验
    a、 使用 validation 简化代码，减少健壮性的判断
    b、自定义@IsMobile注解，进行手机号码格式的判断
    c、对传入的LoginVO参数添加@Valid注解
  • 全局异常处理
    创建GlobalException和GlobalExceptionHandler类进行异常处理

2、Redis实现分布式Session

  • 准备CookieUtil以及UUIDUtili工具类
  • 使用UUID为每个用户生成ticket并存储到session
    方法一：使用SpringSession实现，将session存储在Redis上
    方法二：将用户信息存入到Redis，使用cookie获取用户信息
三、功能开发

1、数据库设计

  • 创建商品表、秒杀商品表、订单表、秒杀商品订单表

2、商品列表页和商品详情页

  • 为了展示秒杀商品的详情创建GoodsVo类，包括价格、库存、起始时间和截止时间

3、秒杀功能实现

  • 在控制层判断库存、若库存数小于1返回秒杀失败页面
  • 若库存不为0，在控制层判断是否重复抢购，重复抢购返回秒杀失败页面
  • 若未重复抢购，秒杀商品表在服务层先减少库存，生成秒杀订单，再返回订单页面

4、优化登录功能

  • 创建UserArgumentResolver类实现HandlerMethodArgumentResolver接口，在每次登陆前检查cookie中是否存有token，若存在直接登录
四、系统压测
  • 系统压测使用JMeter进行测试 线程数为10000 循环10

1、Jmeter简单使用

  • WinodwS环境
    • 创建线程组：步骤：添加–> 线程(用户) --> 线程组
    • 创建HTTP请求默认值，步骤：添加–> 配置元件 --> HTTP请求默认值
    • 添加测试接口，步骤：添加 --> 取样器 --> HTTP请求
    • 查看输出结果，步骤：添加 --> 监听器 --> 聚合报告/图形结果/用表格察看结果
    • 启动即可在监听器看到对应的结果
  • Linux环境
    • 在Windows上录好jmx
    • 命令行：sh jmeter.sh -n -t XXX.jmx -l result.jtl
    • 把result.jtl导入到jmeter

2、配置不同用户测试

  • 准备配置文件config.txt
  • 添加 --> 配置元件 --> CSV Data Set Config
  • 添加 --> 配置元件 --> HTTP Cookie管理器
  • 修改HTTP请求用户信息并查看结果

3、压测秒杀接口

  • 使用UserUitl工具类往数据库插入5000用户，并且调用登录接口获取token，写入config.txt
  • 配置秒杀接口测试
  • windows优化前：QPS1700 并且存在超卖问题
五、页面优化

1、页面缓存+URL缓存+对象缓存

  • 秒杀的瓶颈在于数据库，所以要加上各种粒度的缓存，最大的是页面缓存、最小的是对象缓存

  • 页面缓存

    • 将商品列表页和商品详情页放入static目录下
    • Redis中获取页面，如果不为空，直接返回页面
    • 若缓存中没有则手动渲染，利用thymeleaf模板，然后将页面加入缓存，并返回渲染页面
    • 设置页面缓存时间为60s

  • URL缓存（商品详情页）

    • 与页面缓存步骤基本一致，但是需要取缓存和加缓存时要加入参数，GoodsId

  • 对象缓存（User对象）

    • 从redis中取出缓存
    • 若缓存不存在进入数据进行查找，并加入缓存

  • 为保证数据库与redis中的一致性，对数据库的每一次操作清空redis并更新数据

2、页面静态化+前后端分离

  • 商品详情页+订单详情页进行页面静态化

  • 使用纯html页面+Ajax请求json数据后再填充页面
    3、防超卖

  • 减库存情况

    • 解决方法：在减库存时判断库存是否足够

  • 同一用户同时秒杀多件商品情况

    • 为数据库建立唯一索引避免重复抢购，并将秒杀订单信息存入Redis，方便判断是否重复抢购时进行查询

4、CDN优化

  • CDN是内容分发网络，相当于缓存，只是部署在全国各地，当用户发起请求时，会找最近的CDN获取资源

5、总结

  • 经过页面优化以后，windos环境压测QPS为2800。
  • 并发大的瓶颈在于数据库，所以解决办法是加各种缓存：从浏览器开始，做页面的静态化，将静态页面缓存在浏览器中；请求到达网站之前可以部署一些CDN，让请求首先访问CDN；然后是页面缓存、URL缓存、对象缓存。
六、接口优化

1、RabbitMQ交换机

  • Fanout模式

    • 不处理路由键，只需要简单的将队里绑定到交换机上
      发送到交换机的消息都会被转发到与该交换机绑定的所有队列上
      Fanout交换机转发消息是最快的

  • Direct模式

  • 所有发送到Direct Exchange的消息被转发到RouteKey中指定的Queue
    注意：Direct模式可以使用RabbitMQ自带的Exchange：default Exchange,所以不需要将Exchange进行任何绑定(binding)操作，消息传递时，RouteKey必须完全匹配才会被队列接收，否 则该消息会被抛弃。
    重点：routing key与队列queues 的key保持一致，即可以路由到对应的queue中。

  • Topic模式

    • 所有发送到Topic Exchange的消息被转发到所有管线RouteKey中指定Topic的Queue上Exchange将RouteKey和某Topic进行模糊匹配,此时队列需要绑定一个Topic
      对于routing key匹配模式定义规则举例如下:
      routing key为一个句点号 . 分隔的字符串（我们将被句点号. 分隔开的每一段独立的字符串称为一个单词），如“stock.usd.nyse”、“nyse.vmw”、“quick.orange.rabbit”
      routing key中可以存在两种特殊字符 * 与# ，用于做模糊匹配，其中* 用于匹配一个单词， # 用
      于匹配多个单词（可以是零个）

  • Headers模式

    • 不依赖routingkey，使用发送消息时basicProperties对象中的headers匹配队列
      headers是一个键值对类型，键值对的值可以是任何类型
      在队列绑定交换机时用x-match来指定，all代表定义的多个键值对都要满足，any则代表只要满足 一个可以了

2、优化思路

  • 核心为减少数据库的访问次数
  • 系统初始化，将商品的库存数量加载到Redis中
  • 收到请求，Redis预减库存。库存不足，直接返回，否则进入第三步
  • 请求入队，立即返回排队中（异步下单）
  • 请求出队，生成订单，减少库存，将订单写入Redis
  • 客户端轮询，是否秒杀成功

3、Redis操作库存减少数据库访问

  • SeckillController继承InitializingBean实现afterPropertiesSet方法把商品库存加载到Redis
  • Redis预减库存并判断库存
    • 优化1： 在预减库存中进行内存标记，使用一个Map，将商品ID设置为false，当买空时，设为true；然后每次不是直接访问Redis进行库存查询，而是对商品ID进行条件判断
    • 优化2：使用lua脚本为Redis操作添加分布式锁

4、rabbitMQ异步流量削峰-Topic模式

  • 在Redis发出库存减少请求后，将请求放入消息队列，判断完毕后进行下单操作
七、安全优化

1、秒杀接口地址隐藏

  • 虽然前端页面在秒杀未开始时秒杀按钮设置为不可用，但是有可能用户通过前端js代码找到秒杀地址在秒杀未开始时直接访问，秒杀接口隐藏的目的是用户通过js获取到的秒杀地址并不能让其完成秒杀功能
  • 步骤
    1. 秒杀开始之前使用MD5加密并使用UUID生成唯一值存入Redis
    2. 秒杀时从Redis取出地址值进行验证，通过后执行秒杀

2、数学公式验证码

  • 接口防刷，并分散用户的请求降低并发。
  • 步骤
    1. 秒杀开始前在控制层生成验证码并存入Redis中
    2. 秒杀时从Redis取出验证码进行验证，通过后执行秒杀

3、接口限流

  • 简单限流-计数器算法（漏桶算法 、令牌桶算法）
  • 步骤
    1. 自定义@AccessLimit注解用于接口限流
    2. 当一个用户访问接口时，把访问次数写入缓存，并设置有效期
    3. 一分钟之内如果用户访问，则缓存中的访问次数加一，如果次数超限进行限流操作
    4. 如果一分钟内没有超限，缓存中数据消失，下次再访问时重新写入缓存
    5. 自定义拦截器继承HandlerInterceptorAdapter类将每次请求进行拦截
    6. 在控制层为秒杀接口加上注解
八、项目可改进的地方
  1. 改进限流算法
  • 将计数器限流算法改为漏桶/令牌桶算法进行限流
  1. 超发问题
  • 经压测，当并发量足够大时可能会出现超发问题
  1. 改进优化策略
  2. 为项目增加更多功能如支付、购物车等，并考虑使用微服务进行项目升级
快乐麦肯
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
淘宝秒杀系统内幕
02-25
导读：最初的秒杀系统的原型是淘宝详情上的定时上架功能，由于有些卖家为了吸引眼球，把价格压得很低。但这给的详情系统带来了很大压力，为了将这种突发流量隔离，才设计了秒杀系统，文章主要介绍大秒系统以及这种典型读数据的热点问题的解决思路和实践经验。大家还记得2013年的小米秒杀吗？三款小米手机各11万台开卖，走的都是大秒系统，3分钟后成为双十一第一家也是最快破亿的旗舰店。经过日志统计，前端系统双11峰值有效请求约60w以上的QPS，而后端cache的集群峰值近2000w/s、单机也近30w/s，但到真正的写时流量要小很多了，当时最高下单减库存tps是红米创造，达到1500/s。秒杀系统设计的第一个原则
Redis瞬时高并发秒杀方案总结
12-16
1.Redis 丰富的数据结构（Data Structures） 字符串（String）  Redis字符串能包含任意类型的数据;；  一个字符串类型的值最多能存储512M字节的内容；  利用INCR命令簇（INCR, DECR, INCRBY）来把字符串当作原子...
java秒杀系统整合.zip
04-25
简介   该项目起源于慕课网秒杀系列课程（共四套）,由于课程是2015年的，某些框架和技术都逐渐被替代，我在实现这套课程的时候选用了springboot + spring data jpa +　freemarker模板引擎 ， 并且对系统做了优化（比如通过websocket在秒杀结束后服务端对客户端的实时消息推送），以及使用redis分布式锁解决了多线程高并发情况下的线程安全问题。 适合人群   1. 学习慕课网秒杀系列课程的同学   2. 如果你想快速搭建一个秒杀系统来进行压力测试或进行优化   3. 想快速构建一个秒杀的场景
【ssm项目源码】商品秒杀系统.zip
02-19
【ssm项目源码】商品秒杀系统
商品秒杀系统（限时抢购系统）
05-27
springboot+Mybatis-plus搭建 redis、zookeeper、mq集群 redis缓存、jetCache缓存 RabbitMq消息通知、死信、延迟队列使用 zookeeper分布式锁 自定义注解 统一封装返回 切面使用 设计模式使用 事物、回滚使用 docker、nginx使用 图片服务器OSS使用 stram、lambda使用 多线程、线程池使用 定时任务使用 短信验证、邮件服务使用 JWT验证TOKEN令牌使用 雪花算法分布式算法使用 拦截器、Log4j日志使用 还有很多的工具类、组件使用 数据库连接池Druid使用 MapStruct实体转化工具使用 然后部署时候CDN之类的使用
商品秒杀系统
weixin_49143405的博客
12-12 1779
设计思路： 一、学习目标 了解秒杀的业务 掌握秒杀的设计思路及技术架构 掌握SpringCloud针对于秒杀业务的应用 掌握redis对于性能的提升作用 掌握RabbitMQ对于业务拆分异步的处理应用 二、了解秒杀的业务及使用的技术架构 2.1. 什么是秒杀 对于商家来说，按照商家的规模，秒杀分为三种形式： 1、平台要求准时准点做秒杀，类似于天猫双11，11月11日0点开始抢购，或者京东的整点抢购，都由平台发起。 2、商家对于自己的店铺做秒杀，一般是厂家的旗舰店，在平台...
秒杀商城项目总结
wanger61的博客
07-13 653
秒杀商城项目总结 1.多模块项目的搭建 https://blog.csdn.net/shadowcw/article/details/88894967 先创建父工程，再在父工程中创建子模块 主要流程：在父工程的pom文件中声明子模块，在子模块的pom文件中声明父工程，然后子模块间相互依赖 2.数据库设计 本项目共4张表：商品表，秒杀项目表，订单表，用户表 其中订单表设有字段product_id, seckill_id, user_id用以关联其他3张表 3.MyBatis逆向工程 加入MyBatis逆向工
秒杀项目学习总结
qq_41240798的博客
05-16 736
秒杀项目学习总结 2022/5/15完成， 跟着视频简单的学习了一遍秒杀项目，视频内容循序渐进，先开发简单功能后逐渐优化，很适合对秒杀0基础的小白，学习内容来自乐字节，流程图如下。 项目搭建 后端使用springboot框架，持久化使用mybatis-plus（此部分还需学习），前端使用Thymeleaf模板引擎。 开发功能前先创建好RespBean状态对象，和以前自己做的菜鸡电商项目相比，使用RespBean对象+枚举类显然会使整个项目更易读。 //状态对象 主要记录状态代码，信息，以及要返
java8stream源码-seckill:Java秒杀项目seckill
06-04
Java秒杀项目seckill 前言：本系统是学习debug讲师的课程《Java商城秒杀系统设计与实战》视频后手写总结。 系统整体介绍： 典型且常见的高并发业务场景商城商品秒杀系统的设计与实战 一、项目整体简介 1.核心技术...
基于SSM+mysql框架的高并发和商品秒杀项目源码+项目说明.zip
最新发布
01-09
项目总结可能比较的长,**密集恐惧症**者请按小节进行阅读 - [(一)Java高并发秒杀API之业务分析与DAO层](/note/note1.md) - [(二)Java高并发秒杀API之Service层](/note/note2.md) - [(三)Java高并发秒杀API之web层]...
seckill：SSM实战项目——Java高并发秒杀API，详细流程+学习笔记
02-04
本文包括了项目的完整流程+开发过程中遇到的各种坑的总结+学习笔记和问题扩展，如果觉得README太长，我在blog里进行了分章， 这是完成后的项目，（阿里云到期了orz） 项目截图 秒杀列表 秒杀详情页 错误提示 开始...
秒杀系统瞬时百万并发流量的六种应对之道（十年高并发大促经验总结，文末有福利）
竹林幽深
05-31 198
在前面的文章中，详细阐述了建设秒杀系统的目标与存在的挑战，并且简单罗列了如何应对这些挑战的方式。本章，就详细阐述对秒杀系统存在挑战的应对之道，最终构建出兼具高并发、高性能和高可用的秒杀系统。心中不仅了解建设秒杀系统存在的挑战，更清楚的知道这些挑战的应对之道，正所谓：知己知彼，百战不殆，方案了然于胸，自然有应对之法。本章，主要是对秒杀系统高并发大流量的挑战给出了应对之道，从总体上说，我们应对秒杀系统挑战时，心中要有一杆秤，在设计秒杀系统时，一定要做到分离、削峰限流、快速响应、准确一致、稳定可靠、全链路压测。
如何高效优雅的使用RabbitMQ
ma_nong33的博客
03-12 286
RabbitMQ无疑是目前最流行的消息队列之一，对各种语言环境的支持也很丰富，作为一个.NET developer有必要学习和了解这一工具。
java秒杀项目总结
qq_43430343的博客
09-29 3473
java秒杀项目总结 本项目专攻秒杀模块，共分为七个章节 第一章 项目框架搭建 1.Spring Boot环境搭建 2.集成Thymeleaf , Result结果封装 前期前后端并未分离，使用Thymeleaf来获取后台传来的数据 Result结果封装可以让代码更规范，成功的时候只传数据，失败的时候传递状态码 3.集成Mybatis+ Druid 4.集成Jedis+ Redis安装+通用缓存Key封装 这里使用的是自己封装的jedis 通用缓存key封装，定义一个接口，过期时间和缓存前缀。抽象类继
尚品汇总结十：秒杀模块（面试专用）
leader_song的博客
08-09 1102
秒杀消费下单的mq消息，再次验证状态位，用户是否已经下单，判断库存，保存预下单的用户Id以及商品Id，秒杀成功，进入下单页填写收货地址、电话、收件人等信息，完成下订单，然后跳转到支付页面，支付成功，跳转到成功页，完成秒杀。商家提交秒杀商品申请，录入秒杀商品数据，主要包括：商品标题、原价、秒杀价、商品图片、介绍等信息。商品详细页显示秒杀商品信息，点击立即抢购进入秒杀，抢购成功时预减库存。秒杀频道首页列出当天的秒杀商品，点击秒杀商品图片跳转到秒杀商品详细页。）库存限制：商家只拿出限量的商品来秒杀。
电商秒杀项目-总结与汇总
qq_40916110的博客
05-14 1461
学会使用SpringBoot+MyBatis完成JavaWeb项目的搭建 学会一个电商秒杀系统的基本流程与代码实现 前后端分离的设计方式，完成了用户注册，登录，下单交易以及商品展示和倒计时等基本的功能。 Metronic框架：基于bootstrap的付费ui模板 拓展：多商品，多库存，多活动模型怎么实现 遗留问题： 如何支持亿级秒杀流量 如何发现容量问题 如何使得系统水平扩展 查询效率底下 活动开...
java 分布式秒杀项目
05-13
Java分布式秒杀项目是一种基于Java技术的高并发秒杀系统，通过分布式架构和优化技术，实现在大量用户同时访问的情况下，仍能保证高性能、高可用和高安全的秒杀功能。 该项目的主要目的是解决传统电商系统在“秒杀”...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值