项目实战及调优

项目架构

common
manager
auth
audit
db

eureka
gateway

项目难点与攻关

上海银联 4万用户，内网部署。

难点一：mq队列生产速度远远大于消费速度

解决方案：
① 增加消费者，分组，组内消费者分担消息消费。（同时需要考虑mysql是否达到瓶颈），要搞清楚瓶颈出在那个地方。
② 增加PercatchCount数值，即消息发送的速度。计算公式 消息发送确认时间/消息处理时间。
③ 批量ack，消息确认，同时可以处理多条消息。
④ 消费者端多线程处理：优势可以减少rabbitmq的连接数量。缺点有上限，因为在同一台电脑上。
⑤ 消息设置过期时间，避免挤压，进入死信队列，再监控死信队列里面的消息，进行重试补救等操作
⑥ 生产者端map缓存、增大队列的容量、增加多个队列

通过分析上边的这些方法，在使用RabbitMQ消费时可以遵循这样一个路径：
1 启用Prefetch count设置；
2 先1个消费者，1次只接收1条，处理完毕后再传输下一条，这样可以避免并发冲突和消息顺序问题；
3 如果消费速度不满足要求，则1次接收多条，按接收顺序处理(可用时间标识顺序)；
4 如果消费速度还是不满足要求，则1次接收多条，并行处理；
5 如果消费速度还是不满足要求，则启动多个消费者，并行处理。
6 如果消费速度还是不满足要求，改需求，或者换别的中间件。

为了防止消息丢失，采用了LinkedBlockingQueue无界队列，不设置上限，发现会导致OOM，切换成ArrayBlockintQueue，失败策略默认的AbortPolicy，抛出异常放到内存数据库中，稍后进行补偿重试。

难点二：mysql数据库压力过大，使用缓存技术

多级缓存概念：
http>cdn>nginx>ehcache>redis>mysql

① http客户端缓存一些静态数据，比如页面图标等等，分为强制缓存和对比缓存

1 强制缓存设置过期时间，只要客户端本地有缓存且没过期就使用本地缓存
2 对比缓存，会有一个类似版本号（Last-Modified）的概念，每次请求将版本号发送给后台校验

② cdn网络包分发，就近策略

③ 前后端分离，页面静态化，缓存到nginx里面，使用ajax异步渲染页面

它的主要工作是对应用服务器进行负载均衡，但是它也可以作缓存。可以把一些修改频率不高的数据缓存在这里，例如：用户信息，配置信息。通过服务定期刷新这个缓存就行了。

④ 进程内缓存又叫托管堆缓存

目前比较流行的实现有 Ehcache、GuavaCache、Caffeine。这些架构可以很方便的把一些热点数据放到进程内的缓存中。
这里我们需要关注几个缓存的回收策略，具体的实现架构的回收策略会有所不同，但大致的思路都是一致的：

FIFO（First In First Out）：先进先出算法，最先放入缓存的数据最先被移除。
LRU（Least Recently Used）：最近最少使用算法，把最久没有使用过的数据移除缓存。
LFU（Least Frequently Used）：最不常用算法，在一段时间内使用频率最小的数据被移除缓存。

在分布式架构的今天，多应用中如果采用进程内缓存会存在数据一致性的问题。
这里推荐两个方案：

消息队列修改方案 消息推送刷新
Timer 修改方案 定时刷新

⑤ redis缓存（分布式缓存）