云吞铺子：性能抖动剖析一

云吞铺子-故障排查案例精选》重磅上线！首期我们将聚焦系统类常见问题——性能抖动，阿里云高级技术专家江冉将分享多年故障排查心得体会与经典案例实战经验。完成学习，你就是明日技术大牛！
点击查看视频
查看原文
网络抖动案例是一类处理难度较大的问题，原因主要是很多抖动发生的频率不高，且持续时间非常短极限情况可能仅有100ms以下，而很多用户的业务应用对实时性要求非常高，因此对此类在百毫秒的延迟也会非常敏感。本期云吞铺子记录的是一次多团队协作处理的抖动问题的过程，由于用户的执着，也使得我们在这个案例分析得较为深入，希望对大家今后的此类案例的处理有所启发。

问题现象

让我们先来看看问题现象吧，用户的应用日志记录了百毫秒甚至1-2秒级别的延迟，而且发生较为频繁，由于业务的实时性要求较高，因此对业务的影响较大，当然其中也影响到了用户对迁云的信心。

初步排查

在用户通过应用层面的排查怀疑问题来源于虚拟网络环境的时候，我们需要做的第一件事就是首先要将问题简单化。这一步是非常必要的，因为我们对用户的应用不可能有非常深入的了解，所以用户的应用日志具体含义和记录方式对我们来说更像黑盒。我们所要做的是将问题现象转移到我们常见的系统组件上来，比如简单到ping。所以我们第一件所做的事情就是编写脚本进行两台机器的内网互ping，并将每次ping的延迟记录到文件。选择ping当然也是由于ping的间隔是可以设置到百毫秒的，比较容易说明问题。

在互ping的测试中我们确实发现有百毫秒以上的延迟，那么随后我们为了排除物理网络的影响，选择一台机器进行对网关的ping测试，同样发现了类似的延迟：
https://yqfile.alicdn.com/59f22af4283040009a4822daee77b450c68fff6c.png

来看看上面的ping测试结果吧，初看也仅仅是一些百毫秒延迟的集中发生而已，但是仔细观察就会发现每次发生都有这样的情况，就是延迟在一组连续的ping上发生的，并且延迟是倒序排列的。那么这意味着什么呢？

详细排查过程请查看视频。

转载于:https://blog.51cto.com/13927391/2380364