八股文完：消息队列&Redis&Nginx

八、MQ 消息队列

1、场景作用

削峰填谷，异步解耦。

2、如何保证消息不被重复消费呢？

这个问题可以换个思路，保证消息重复消费，其实是保证程序的幂等性。无论消息如何重复，程序运行的结果是一致的。比如消费消息后做数据库插入操作，为了防止消息重复消费，可以在插入前先查询一下有没有对应的数据。

3、怎么保证从消息队列里拿到的数据按顺序执行？

消费端在接收到消息后放入内存队列，然后对队列中的消息进行有序消费。

4、如何解决消息队列的延时以及过期失效问题？消息队列满了以后该怎么处理？有几百万消息持续积压几小时，说说怎么解决？

消息过期失效问题，如果消息一段时间不消费，导致过期失效了，消息就丢失了，只能重新查出丢失的消息，重新发送。 再来说消息积压的问题：（思路是快速消费掉积压的消息）

• 首先排查消费端问题，恢复消费端正常消费速度。
• 然后着手处理队列中的积压消息。
  • 停掉现有的 consumer。
  • 新建一个 topic ，设置之前 10 倍的 partation，之前 10 倍的队列。
  • 写一个分发程序，将积压的消息均匀的轮询写入这些队列。
  • 然后临时用 10 倍的机器部署 consumer，每一批 consumer 消费 1 个临时的队列。
  • 消费完毕后，恢复原有架构。

消息队列满了：只能边接收边丢弃，然后重新补回丢失的消息，再做消费。

4、如何保证消息的可靠性传输（如何处理消息丢失的问题）？

kafka 为例：

• 消费者丢了数据： 每次消息消费后，由自动提交 offset 改为手动提交 offset 。
• kafka 丢了消息： 比较常见的一个场景，就是 kafka 某个 broker 宕机，然后重新选举 partition 的 leader 时。要是此时其他的 follower 刚好还有些数据没有同步，结果此时 leader 挂了，然后大家选举某个 follower 成为 leader 之后，不就少了一些数据。
  • 给 topic 设置replication.factor参数：这个值必须大于 1，要求每个 partition 必须有至少两个副本。
  • 在 kafka 服务端设置min.insync.replicas参数：这个值必须大于 1，这个是要求一个 leader 至少感知到有至少一个 follower 还跟自己保持联系，没掉队，这样才能确保 leader 挂了还有一个 follower。
  • 在 producer 端设置acks=all：这个是要求每条数据，必须是写入所有 replica 之后，才能认为是写成功了。
  • 在 producer 端设置retries=MAX（很大很大很大的一个值，无限次重试的意思）：这个是要求一旦写入失败，就无限重试，卡在这里。
• 生产者丢了消息： 如果按照上述的思路设置了 ack=all，一定不会丢，要求是，你的 leader 接收到消息，所有的 follower 都同步到了消息之后，才认为本次写成功了。如果没满足这个条件，生产者会自动不断的重试，重试无限次。

九、Redis

1、数据类型

• String

常用命令： set,get,decr,incr,mget 等。

• Hash

常用命令： hget,hset,hgetall 等

• List

常用命令： lpush,rpush,lpop,rpop,lrange 等

可以通过 lrange 命令，就是从某个元素开始读取多少个元素，可以基于 list 实现分页查询。

• Set

常用命令： sadd,spop,smembers,sunion 等

• Sort Set

常用命令： zadd,zrange,zrem,zcard 等

2、Redis 如何实现 key 的过期删除？

定期删除和惰性删除的形式。

• 定期删除 Redis 每隔一段时间从设置过期时间的 key 集合中，随机抽取一些 key ，检查是否过期，如果已经过期做删除处理。
• 惰性删除 Redis 在 key 被访问的时候检查 key 是否过期，如果过期则删除。

3、Redis 的持久化机制

数据快照（RDB）+ 修改数据语句文件（AOF）

4、如何解决 Redis 缓存雪崩和缓存穿透？

• 缓存雪崩 缓存同一时间大面积的失效，所以，后面的请求都会落到数据库上，造成数据库短时间内承受大量请求而崩掉。

  • 解决方式
    • 事前：保证 Redis 集群的稳定性，发现机器宕机尽快补上，设置合适的内存淘汰策略。
    • 事中：本地缓存 + 限流降级，避免大量请求落在数据库上。
    • 事后：利用 Redis 持久化机制尽快恢复缓存。

• 缓存穿透 一般是黑客故意去请求缓存中不存在的数据，导致所有的请求都落到数据库上，造成数据库短时间内承受大量请求而崩掉。

  • 解决方式 将不存在的数据列举到一个足够大的 map 上，这样遭到攻击时，直接拦截 map 中的请求，请求到数据库上面。或是把不存在的也做缓存，值为 null ，设置过期时间。

5、如何使用 Redis 实现消息队列？

Redis 实现消息队列依赖于 Redis 集群的稳定性，通常不建议使用。

• Redis 自带发布订阅功能，基于 publish 和 subscribe 命令。
• 使用 List 存储消息，lpush，rpop 分别发送接收消息。

十、Nginx

Nginx 是一款轻量级的 Web 服务器/反向代理服务器及电子邮件（IMAP/POP3）代理服务器。 Nginx 主要提供反向代 理、负载均衡、动静分离(静态资源服务)等服务。

1、正向代理和反向代理

• 正向代理 代理客户端访问服务器。典型：VPN
• 反向代理 代替服务器接收客户端请求，然后转发给服务器，服务器接收请求并将处理的结果通过代理服务器转发给客户端。

2、负载均衡

将请求分摊到多台机器上去，高并发，增加吞吐量。

• 负载均衡算法
  • 权重轮询
  • fair
  • ip_hash
  • url_hash

3、动静分离

动静分离是让动态网站里的动态网页根据一定规则把不变的资源和经常变的资源区分开来，动静资源做好了拆分以后，我们就可以根据静态资源的特点将其做缓存操作，这就是网站静态化处理的核心思路。

4、Nginx 四个组成部分

• Nginx 二进制可执行文件：由各模块源码编译出一个文件
• Nginx.conf 配置文件：控制 Nginx 行为
• acess.log 访问日志： 记录每一条 HTTP 请求信息
• error.log 错误日志：定位问题