“亿级流量下的挑战“：构建高并发电商平台的实战之路

于 2024-07-01 12:09:03 发布
阅读量900 收藏 12
点赞数 13
分类专栏： spring boot java架构 微服务 文章标签： 高并发 高可用 高性能 微服务 java 架构设计
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/alises1314/article/details/140097376
版权
spring boot 同时被 3 个专栏收录
155 篇文章 0 订阅
订阅专栏
微服务
18 篇文章 0 订阅
订阅专栏
java架构
10 篇文章 0 订阅
订阅专栏

肖哥弹架构 跟大家“弹弹” 高并发电商平台的难点与解决方案
欢迎 点赞，关注，收藏。

关注本人的公众号Solomon肖哥弹架构获取更多精彩内容

在当今互联网高速发展的时代，电商平台常常面临着亿级流量的考验。特别是在大型促销活动如“双11”、“618”期间，系统如何在瞬时涌入的巨大流量下保持稳定、高效地运行，是每个程序员和技术团队梦寐以求的挑战。本文将深入探讨构建高并发电商平台的难点与解决方案，带领读者一步步提升技术水平。

案例背景

假设我们正在为一家知名的电商平台设计一个能够承受亿级流量的订单系统。该系统需要处理用户浏览、下单、支付、库存扣减等关键操作，同时保证数据的一致性和系统的高可用性。

架构设计图

image.png

架构图说明

用户请求处理流程
  1. 用户通过浏览器或移动应用发起HTTP/HTTPS请求。
  2. 负载均衡器（如Nginx）接收外部请求，并根据配置将流量分配到API网关。
  3. API网关（如Spring Cloud Gateway）作为请求的单一入口点，负责请求路由、认证、监控和负载均衡。
微服务架构
  1. 认证服务处理用户认证请求，确保用户访问的合法性。
  2. 订单服务处理订单创建、支付等订单相关业务。
  3. 库存服务负责库存的检查和扣减，确保库存数据的准确性。
  4. 支付服务处理支付请求，与第三方支付平台对接。
  5. 商品服务提供商品浏览、详情展示等商品相关业务。
数据库层
  1. 每个微服务连接到自己的数据库，以保证数据的一致性和隔离性。
消息队列
  1. 消息队列（如Kafka）用于异步处理消息，如订单创建后的库存更新。
缓存系统
  1. 缓存（如Redis）用于存储热点数据，减少数据库访问压力。
服务间通信
  1. 服务之间通过同步或异步的方式进行通信，以实现业务解耦和数据一致性。
容器化与编排
  1. CI/CD系统（如Jenkins或GitLab CI/CD）自动化部署流程，将应用部署到Kubernetes集群。
  2. Kubernetes负责服务的调度、扩缩容和自愈能力。
监控与日志
  1. 监控系统（如Prometheus）收集服务的指标数据。
  2. 日志系统（如ELK Stack）收集、存储和分析服务日志。
高可用性与容灾
  1. 多地域部署和数据备份策略确保系统的高可用性和灾难恢复能力。

高并发系统的难点

  1. 数据一致性保证：

    • 在高并发场景下，如何保证库存数据的准确性和一致性，避免超卖或错卖现象。

  2. 数据库的瓶颈：

    • 大量写操作导致数据库压力剧增，如何优化数据库操作，减轻数据库负担。

  3. 热点数据的处理：

    • 某些商品可能瞬间成为爆款，导致请求集中，如何合理分配请求，避免单点过热。

  4. 系统可用性：

    • 在面对突发流量时，如何确保系统的可用性和稳定性。

  5. 服务的弹性伸缩：

    • 如何根据流量的变化，动态调整资源，实现成本与性能的平衡。

  6. 分布式事务管理：

    • 在微服务架构下，如何有效处理跨服务的事务一致性问题。

  7. 容灾与故障恢复：

    • 面对可能的系统故障，如何快速恢复服务，减少损失。

解决方案

  1. 库存扣减的优化：

    • 引入分布式锁或使用乐观锁机制，保证库存扣减的原子性。

  2. 数据库读写分离：

    • 通过主从复制，分离读操作和写操作，提高数据库的读取能力。

  3. 缓存策略：

    • 使用Redis等缓存系统，对热点数据进行缓存，减少数据库访问。

  4. 消息队列的应用：

    • 使用Kafka等消息队列，异步处理订单和支付，降低系统耦合度。

  5. 微服务的拆分与治理：

    • 将系统拆分为多个微服务，实现服务的独立扩展和维护。

  6. 服务的弹性伸缩：

    • 利用Kubernetes等容器编排工具，实现服务的自动扩缩容。

  7. 分布式事务解决方案：

    • 采用最终一致性模型，结合事件驱动架构，处理跨服务的事务。

  8. 容灾与故障恢复机制：

    • 设计多地域部署和数据备份策略，确保系统的高可用性。

解决方案相关实现

1. 库存扣减的优化

使用乐观锁（数据库层面）
-- 表结构包含 version 字段
ALTER TABLE books ADD COLUMN version INT DEFAULT 1;

@Transactional
public boolean deductStock(Long bookId, int quantity) {
    Book book = bookRepository.findById(bookId).orElseThrow();
    for (int i = 0; i < 5; i++) { // 尝试重试5次
        if (book.getStock() >= quantity) {
            int newVersion = book.getVersion() + 1;
            book.setStock(book.getStock() - quantity);
            book.setVersion(newVersion);
            if (bookRepository.save(book) != null) {
                return true; // 扣减成功
            }
        }
    }
    return false; // 扣减失败，可能因为并发更新
}
使用分布式锁（Redis + Redisson）
@Autowired
private RedissonClient redisson;

public boolean deductStockWithLock(Long bookId, int quantity) {
    RLock lock = redisson.getLock("lock:" + bookId);
    try {
        lock.lock();
        // 重复检查库存逻辑
        return checkAndDeductStock(bookId, quantity);
    } finally {
        lock.unlock();
    }
}

2. 数据库读写分离

主从复制配置（MySQL）
-- 在主服务器上设置
CHANGE MASTER TO MASTER_HOST='master_host', MASTER_USER='master_user', MASTER_PASSWORD='master_password', MASTER_LOG_FILE='binlog_file', MASTER_LOG_POS=binlog_pos;

-- 在从服务器上启动复制
START SLAVE;
配置Spring Boot应用使用主从数据库
# application.properties
spring.datasource.write.url=主数据库连接URL
spring.datasource.read.url=从数据库连接URL

3. 缓存策略

使用Redis缓存热点数据
@Cacheable(value = "bookStocks", key = "#bookId")
public int getBookStockFromDb(Long bookId) {
    return bookRepository.findStockById(bookId);
}

@CacheEvict(value = "bookStocks", key = "#bookId")
public void evictBookStockFromCache(Long bookId) {
    // 逻辑由Spring Cache处理
}

4. 微服务的拆分与治理

使用Spring Cloud Eureka进行服务注册与发现
# application.yml
eureka:
  client:
    service-url:
      defaultZone: http://localhost:8761/eureka/

5. 服务的弹性伸缩

Kubernetes Deployment配置
apiVersion: apps/v1
kind: Deployment
metadata:
  name: book-service
spec:
  replicas: 3  # 初始副本数
  template:
    ...
  strategy:
    type: RollingUpdate
    rollingUpdate:
      maxSurge: 1  # 扩容时额外创建的容器数
      maxUnavailable: 0  # 更新过程中允许的最大不可用容器数

6. 分布式事务解决方案

使用事件驱动架构处理订单和库存
@Async
public void processOrder(Order order) {
    // 订单服务逻辑
    // ...

    // 发送订单创建事件
    orderEventProducer.send("order-created-topic", order.getId().toString());
}

@KafkaListener(topics = "order-created-topic")
public void handleOrderCreated(String orderId) {
    // 根据订单ID处理库存扣减
    // ...
}

7. 容灾与故障恢复机制

数据库备份策略
# 使用mysqldump进行数据库备份
mysqldump -u username -p database_name > database_name_backup.sql
Kubernetes多地域部署
apiVersion: v1
kind: Pod
metadata:
  labels:
    app: book-service
spec:
  containers:
  - name: book-service
    image: book-service:latest
  affinity:
    podAntiAffinity:
      requiredDuringSchedulingIgnoredDuringExecution:
        - labelSelector:
            matchExpressions:
            - key: "app"
              operator: In
              values: 
              - book-service
          topologyKey: "kubernetes.io/hostname"

相关核心代码

1. 库存服务的代码实现

库存服务接口定义（Java）
public interface InventoryService {
    boolean checkStock(Long bookId, int quantity);
    boolean deductStock(Long bookId, int quantity);
}
库存服务实现（Java）
@Service
public class InventoryServiceImpl implements InventoryService {

    @Autowired
    private BookRepository bookRepository;

    @Override
    public boolean checkStock(Long bookId, int quantity) {
        Book book = bookRepository.findById(bookId).orElse(null);
        return book != null && book.getStock() >= quantity;
    }

    @Override
    @Transactional
    public boolean deductStock(Long bookId, int quantity) {
        // 检查库存
        if (!checkStock(bookId, quantity)) {
            return false;
        }

        // 扣减库存
        Book book = bookRepository.findById(bookId).orElseThrow(() -> new RuntimeException("Book not found"));
        int newStock = book.getStock() - quantity;
        book.setStock(newStock);
        bookRepository.save(book);

        // 发送库存扣减成功的消息到消息队列
        messageProducer.send("inventory-deduct-topic", bookId.toString());
        return true;
    }
}
库存数据访问对象（Java）
@Repository
public interface BookRepository extends JpaRepository<Book, Long> {
}
消息生产者（Java）
@Component
public class MessageProducer {

    @Autowired
    private KafkaTemplate<String, String> kafkaTemplate;

    public void send(String topic, String message) {
        kafkaTemplate.send(topic, message);
    }
}

2. 使用Redisson实现分布式锁（Java）

@Component
public class RedissonClient {

    @Autowired
    private RedissonClient redisson;

    public RLock getLock(String key) {
        return redisson.getLock(key);
    }
}
库存扣减服务使用分布式锁（Java）
@Service
public class InventoryServiceWithLock implements InventoryService {

    @Autowired
    private BookRepository bookRepository;
    @Autowired
    private RedissonClient redissonClient;

    @Override
    public boolean checkStock(Long bookId, int quantity) {
        // ... 省略其他代码 ...
    }

    @Override
    @Transactional
    public boolean deductStock(Long bookId, int quantity) {
        RLock lock = redissonClient.getLock("book-" + bookId);
        try {
            // 尝试获取锁，最多等待3秒，锁的自动过期时间设置为10秒
            if (lock.tryLock(3, 10, TimeUnit.SECONDS)) {
                // 执行扣减逻辑
                return bookRepository.findById(bookId)
                        .filter(book -> book.getStock() >= quantity)
                        .map(book -> {
                            book.setStock(book.getStock() - quantity);
                            bookRepository.save(book);
                            // 发送消息到队列
                            // ...
                            return true;
                        })
                        .orElse(false);
            }
        } catch (InterruptedException e) {
            Thread.currentThread().interrupt();
        } finally {
            // 释放锁
            lock.unlock();
        }
        return false;
    }
}

3. Kafka消费者监听库存扣减消息（Java）

@Component
public class InventoryConsumer {

    @KafkaListener(topics = "inventory-deduct-topic", groupId = "inventory-group")
    public void listen(String message) {
        // 处理库存扣减后的逻辑，例如更新缓存、发送通知等
    }
}

4. 订单服务调用库存服务的代码（Java）

@Service
public class OrderService {

    @Autowired
    private InventoryService inventoryService;

    public Order createOrder(Order order) {
        // 检查库存
        boolean isStockEnough = inventoryService.checkStock(order.getBookId(), order.getQuantity());
        if (!isStockEnough) {
            throw new RuntimeException("库存不足");
        }

        // 扣减库存
        boolean isDeductSuccess = inventoryService.deductStock(order.getBookId(), order.getQuantity());
        if (!isDeductSuccess) {
            throw new RuntimeException("库存扣减失败");
        }

        // 保存订单信息
        // ...
        return order;
    }
}
Solomon_肖哥弹架构
关注
专栏目录
高并发网站架构实战
悦分享
09-11 1129
1. Tomcat介绍Tomcat是Apache 软件基金会（Apache Software Foundation）的Jakarta 项目中的一个核心项目，由Apache、Sun 和其他一些公司及个人共同开发而成。由于有了Sun 的参与和支持，最新的Servlet 和JSP 规范总是能在Tomcat 中得到体现，Tomcat支持最新的Servlet和JSP规范。因为Tomcat 技术先进、性能稳定，而且免费，因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可，成为目前比较流行的Web 应用服务器。
构建高并发高可用的电商平台架构实践
热门推荐
云计算、分布式架构、K8S、大数据、机器学习、搜索、推荐、广告
10-03 25万+
各个维度总结电商平台中的高并发高可用的架构实践，从架构设计的理念到平台的逻辑架构，以及到平台架构中各个模块的介绍
【架构设计】高并发架构实战：从需求分析到系统设计
西门吹雪
07-11 1万+
高并发是指系统在同一时间内处理的请求量非常大，通常是指每秒处理的请求量达到数千到数百万级别。 在互联网应用中，高并发是一个非常常见的问题，因为随着用户数量的增加，系统需要处理的请求量也会越来越大。 高并发的处理需要系统在短时间内处理大量的请求，因此对系统的稳定性和性能提出了很高 的要求。
堪称天花板，阿里“高并发”教程《基础+实战+源码+面试+架构
最新发布
2401_86080960的博客
06-30 355
小编这些年深知大多数初中级工程师，想要提升自己，往往是自己摸索成长，自己不成体系的自学效果低效漫长且无助。因此我收集整理了一份《2024年Java全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！如果你需要这些资料，⬅专栏获取不知道该从何学起的朋友，同时减轻大家的负担。**
大数据高并发系统架构实战
weixin_33709609的博客
11-19 191
LVS是一个开源的软件，基于Linux系统的服务器集群解决方案，利用LVS能创建一个具有良好的扩展性、高可靠性、高性能和高可用性的体系。LVS是Linux Virtual Server的缩写，意思是Linux虚拟服务器。使用LVS架设的服务器集群系统用户只感觉到一个虚拟服务器。物理服务器之间可以通过高速的LAN或分布在各地的WAN相连。最前端是负载均衡器，它负责将各种服务...
淘宝的双11、春运时的抢票、微博大V的热点新闻，Alibaba双11的高并发实战经验，被这份文档诠释的极透彻
如果频繁就私信一下呢
11-11 356
前言： 高并发意味着大流量，需要运用技术手段抵抗流量的冲击，这些手段好比操作流量，能让流量更平稳地被系统所处理，带给用户更好的体验。 我们常见的高并发场景有：淘宝的双11、春运时的抢票、微博大V的热点新闻等。除了这些典型事情，每秒几十万请求的秒杀系统、每天千万级的订单系统、每天亿级日活的信息流系统等，都可以归为高并发。 目前的互联网跳槽难度明显大了很多，很多大厂都要求有高并发实战项目的经验，对于程序员来说， 不断学习才能避免被淘汰， 今天小编给大家分享的这一份Alibaba内部资料，就是让没有高并
构建高并发高可用的电商平台架构实践2
01-21
### 构建高并发高可用的电商平台架构实践2 #### 一、设计理念 在构建高并发高可用的电商平台架构过程中，需要围绕几个核心的设计理念展开，以确保系统的稳定性和高效运行。 ##### 1. 空间换时间 在处理大规模...
基于云原生架构构建亿级多语言电商平台设计到落地实现第一阶段
03-28
分享课程——基于云原生架构构建亿级多语言电商平台设计到落地实现第一阶段，课程一共3个阶段，当前课程是第一阶段，其余2个阶段暂时没有录制完成。 本阶段内容：会基于云原生实现电商系统的大部分核心服务,包括:...
亿级流量电商实战项目-eshop-inventory.zip
11-04
在本实战项目“亿级流量电商实战项目-eshop-inventory”中，我们将探索和学习构建一个能够处理大规模用户流量的电子商务平台所涉及的关键技术和策略。这个项目可能涵盖多个技术领域，包括前端开发、后端架构、数据库...
构建高并发高可用的电商平台架构与双11促销cdn静态化架构.
10-09
构建高并发高可用的电商平台架构是当前电商平台架构设计的主要挑战之一。为解决这个问题，我们需要从设计理念、并行与分布式计算、多维度的可用、监控、伸缩、优化资源利用等多方面入手。 一、设计理念 1. 空间换...
【咕泡学院实战项目】-基于SpringBoot+Dubbo构建的电商平台-微服务架构、商城、电商、微服务、高并发、kafka
01-04
实现了电商商城、淘淘商城、新蜂商城、小程序商城、电商书城、淘宝天猫商城、秒杀系统、黑马乐优商城、塔可商城、仿小米商城、微信商城，使用了SpringBoot、Redis、ElasticSearch、JWT、Vue、JavaScript、Dubbo、、...
高并发高可用的电商平台架构
12-15
电商双十一稳定架构 LAMP架构到1000万PV的适用
构建高并发高可用的电商平台架构
09-27
一 设计理念 空间换时间 1 多级缓存静态化 2 索引 并行与分布式计算 1 任务切分分而治之MR 2 多进程多线程并行执行MPP 多维度的可用 1 负载均衡容灾备份 2 读写分离 3 依赖关系 4 监控 伸缩 1 拆分 2 无状态 优化资源利用 1 系统容量有限 2 原子操作与并发控制 3 基于逻辑的不同采取不一样的策略 4 容错隔离 5 资源释放 二 静态架构蓝图 三 剖析架构 CDN 负载均衡反向代理 App接入 业务服务 基础服务中间件 1 通信组件 2 路由Router 3 HA 4 消息Message 5 CacheBuffer 6 搜索 7 日志收集 8 数据同步 9 数据分析 10 实时计算 11 实时推送 12 推荐引擎 数据存储 1 内存型数据库 2 关系型数据库 3 分布式数据库 管理与部署配置 监控统计
高并发系统架构设计之实战篇35：计数系统设计之未读数系统
GIS摆渡人
09-28 1488
因为每个人关注的人不同，信息流的列表也就不同，所以也就没办法采用系统通知未读数的方案。那要如何设计能够承接每秒几十万次请求的信息流未读数系统呢？你可以这样做：首先，在通用计数器中记录每一个用户发布的博文数；然后在 Redis 或者 Memcached 中记录一个人所有关注人的博文数快照，当用户点击未读消息重置未读数为 0 时，将他关注所有人的博文数刷新到快照中；这样，他关注所有人的博文总数减去快照中的博文总数就是他的信息流未读数。
工作10年，浅谈经历过的高并发架构设计实战经验
Blue92120的博客
12-01 354
高并发解决的核心问题是在同一时间上有大量的请求过来，然后我们的系统要怎么抗住这些请求带来的压力。比如在线直播服务，同时有上百万甚至上千万人观看。比如秒杀品，同时有大量用户涌入。现代互联网服务，基本上都要考虑高并发问题，因为一般的产品，用户的请求量都很大。
电商那些年，我摸爬打滚出的高并发架构实战干货
Java技术栈，分享最主流的Java技术
06-17 988
作者：SFLYQ http://blog.thankbabe.com/2016/09/14/high-concurrency-scheme/ 一、关于高并发 高并发是指在同一个时间点，有很多用户同时访问URL地址，比如：淘宝的双11、双12，就会产生高并发。又如贴吧的爆吧，就是恶意的高并发请求，也就是DDOS攻击，再屌丝点的说法就像玩LOL被ADC暴击了一样，那伤害你懂的。 1、高并发会来带的后果 服务端：导致站点服务器/DB服务器资源被占满崩溃，数据的存储和更新结果和理想的设计是不一样的，比如：出现.
电商 - 高并发，高性能架构
weixin_30855099的博客
02-23 396
电商平台的架构一般包括：客户自建应用、安全与监控、存储、弹性计算、分布式服务和后台数据库等模块 大致分布如下图： 上图是基于 Mysql 的架构设计 上图是基于 SQL Server 的架构设计 一、客户自建应用 客户自建应用一般包括客户管理中心、商品管理中心、营销管理中心、订单管理中心、积分管理中心、店铺管理中心等管理应用，除此之外还包括支付、客服、财务等 简单来...
实战讲解高并发和秒杀抢购系统设计，Java体系化进阶学习图谱
2401_83946509的博客
04-02 772
拒绝假的分布式尤其重要，比如：前端服务器是可以独立存在的，但是都依赖集中的一个数据库或者缓存系统，那最后，一定是集中的那个数据库或者缓存系统受不了，同样无法做到一个好的分布式。这里用到的是left_num=left_num-1，如果left_num>0才能执行成功，数据库查询、更新的时候有用到锁，是可以保证更新操作的原子性的。用redis替代mysql来保存订单处理中依赖的数据，用程序中的提交的数据代替从redis中二次获取数据，比如：商品库存信息，用户订单信息。
百亿级并发系统设计：阿里P8整理的实战教程，助你技术飞跃
资料免费分享，点击名片
08-28 216
说实话，如果面试官问你这个题目，那么你必须要使出全身吃奶劲了。为啥？因为你没看到现在很多公司招聘的 JD 里都是说啥有。如果你确实有真才实学，在互联网公司里干过高并发系统，那你确实拿 offer 基本如探囊取物，没啥问题。面试官也绝对不会这样来问你，否则他就是蠢。假设你在某知名电商公司干过高并发系统，用户上亿，一天流量几十亿，高峰期并发量上万，甚至是十万。那么人家一定会仔细盘问你的系统架构，你们系统啥架构？怎么部署的？部署了多少台机器？缓存咋用的？MQ 咋用的？数据库咋用的？
电商平台高并发架构实践：空间换时间与缓存策略
本文档深入探讨了构建高并发、高可用的电商平台架构实践，针对电商行业特有的需求，提供了从设计理念到具体技术策略的全面分析。作者杨步涛是一位专注于分布式架构、大数据、搜索和开源技术的专家，他在文章中分享了...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Solomon_肖哥弹架构

你的欣赏就是我最大的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值