当某个服务器发生数据丢包时,它们肯定是由于某种原因。我们如何来分析为什么数据包丢失。
以下是我们想要了解的情况:
一个数据包进入您计算机的网络堆栈( RX )(例如在端口 8000 上)。 在端口 8000 对应的应用程序接收之前被丢。
发送一个数据包( TX )。 在它从您的机器发出之前被丢。
本文不关注“数据包在网络传输过程丢了,让我们用 traceroute / 通过计数 TCP 重传进行诊断”(虽然这也很重要)!
怎么知道数据包是否被丢弃?
我在 Twitter 上提问,得到了非常有用的答案 “看 netstat -i !”这是我的笔记本电脑上运行得到的结果:
bork@kiwi~> sudo netstat -i
Kernel Interface table
Iface MTU Met RX-OK RX-ERR RX-DRP RX-OVR TX-OK TX-ERR TX-DRP TX-OVR Flg
docker0 1500 0 0 0 0 0 0 0 0 0 BMU
enp0s25 1500 0 1235101 0 242 0 745760 0 0 0 BMRU
lo 65536 0 21558 0 0 0 21558 0 0 0 LRU
nlmon0 3776 0 551262 0 0 0 0 0 0 0 ORU
看起来有一些收到的( RX )数据包在 enp0s25 (我的无线网卡)上丢失了。 但是没有 TX 包丢失。
有人也告诉我,运行 ethtool -S 会有帮助,但是我的 ethtool 没有 -S 选项。
怎么知道为什么数据包被丢弃
通过谷歌搜索,发现一个很酷的工具叫 dropwatch 。 没有现成的 Ubuntu 安装软件包,但可以通过 github 下载:
https//github.com/pavel-odintsov/drop_watch
以下是我可以编译的说明:
sudo apt-get install -y libnl-3-dev libnl-genl-3-dev binutils-dev libreadline6-dev
git clone https://github.com/pavel-odintsov/drop_watch
cd drop_watch/src
vim Makefile # comment out the -Werror argument to gcc
make
这里是输出! 它告诉我哪个内核函数丢失数据包,酷!
sudo ./dropwatch -l kas
Initalizing kallsyms db
dropwatch> start
Enabling monitoring...
Kernel monitoring activated.
Issue Ctrl-C to stop monitoring
1 drops at tcp_v4_do_rcv+cd (0xffffffff81799bad)
10 drops at tcp_v4_rcv+80 (0xffffffff8179a620)
1 drops at sk_stream_kill_queues+57 (0xffffffff81729ca7)
4 drops at unix_release_sock+20e (0xffffffff817dc94e)
1 drops at igmp_rcv+e1 (0xffffffff817b4c41)
1 drops at igmp_rcv+e1 (0xffffffff817b4c41)
用perf监控丢弃的数据包
还有另一个很酷的方法,用来调试发生什么。
thomas graf 告诉我,可以使用 perf 监视 kfree_skb 事件,这将告诉你什么时候丢弃数据包(内核堆栈发生的地方):
sudo perf record -g -a -e skb:kfree_skb
sudo perf script
扩展阅读
还有这两个很酷的文章:
监控和调优Linux网络堆栈:接收数据
https://blog.packagecloud.io/eng/2016/06/22/monitoring-tuning-linux-networking-stack-receiving-data/
监控和调优Linux网络堆栈:发送数据
https://blog.packagecloud.io/eng/2017/02/06/monitoring-tuning-linux-networking-stack-sending-data/
文档非常详细。
如果您有更好的调试数据包丢弃的方法,请在本文末留言吧,所有读者也都会感兴趣。
英文原文:https://jvns.ca/blog/2017/09/05/finding-out-where-packets-are-being-dropped/
本文作者 Julia Evans,由 Nana 翻译,转载译文请注明出处,技术原创及架构实践文章,欢迎通过公众号菜单「联系我们」进行投稿。
推荐阅读
高可用架构
改变互联网的构建方式
长按二维码 关注「高可用架构」公众号