如何建立线上问题快速响应机制

1、概述

  线上问题通常是指大规模影响生产服务的问题或事件，通俗点说就是"踩雷"，线上问题处理的流程也可以看成是"踩坑"、“跳坑”、“填坑”、“避坑”，优先级从高到底依次排序；

  线上问题的处理，不仅是一项技术活，更是对技术人员/技术团队反应能力、决策能力、判定能力、组织能力的考验。面对突发的生产故障，需要快速定位问题，找到解决方案，快速实施解决方案并不是一件容易的事情。本文主要包括如下内容：线上故障处理的目标、思路、步骤、以及如何建立快速响应机制；

  本文仅依据平时经历的生产故障排查和处理，总结一些肤浅的方法论，以求共同讨论，共同提高，欢迎探讨。

2、目标

  2.1 “跳坑”：— —快速恢复线上服务，或者将线上问题的影响降到最低

  线上服务的可用性，直接影响着客户的利益，一旦线上服务无法使用，往往会给公司带来严重的经济损失和赔偿金，更严重的会给整个公司或团队带来恶劣的名声。所以出现线上问题的第一要务就是尽快恢复线上服务，及时不能快速恢复也要提供规避方案，想尽方法将影响降到最低；

  2.2 “填坑”：— —快速定位问题产生的根本原因，从根本上解决问题；

  在恢复线上服务，尽最大可能减少用户损失外，还需要彻查产生问题的根本原因；一般来说，跳坑和填坑二者是并行的，完成“填坑”意味着“跳坑”结束，但是跳坑也有一些非常规手法，如：重启服务，增加熔断机制（