记一次离奇的calico工作异常

记一次离奇的calico工作异常

现象：
处于不同节点之间容器网络互访不能连通，但是同一个节点中的容器互访是通畅的，但是跨节点可以ping通，可以curl通部分接口

第一次排查

尝试在网上找到相关解决方案，所有解决方案都是关于calico的配置文件问题的，由于calico是使用脚本安装的，所以理论上不会出现问题，检查配置文件也未找到相关问题，暂时排除配置文件的问题，继续做各种实验，查询各种资料

第二次排查

突破点：部分请求跨节点连接通畅

尝试复现可联通和不可联通的情况，找到它们之间的差异和界限

实验结果
发现在请求http时，可联通 (后已证伪)
在socket请求时，不能连通

结论
目前的配置导致calico对长连接式的请求支持有问题 (后已证伪)

第三次排查

发现请求失败的http接口，证明并不是所有http请求都可以工作
http请求可连通结论证伪

第四次排查

尝试对一次请求进行debug
突破点 expecting SSH2_MSG_KEX_ECDH_REPLY

strace ssh sshd2
# 以及
ssh -v sshd2

发现一条输出为 expecting SSH2_MSG_KEX_ECDH_REPLY

继续搜索 发现成熟的解决方案 https://github.com/johnnian/Blog/issues/44

结论:

物理网卡的MTU为1454 ，calico虚拟网卡MTU为1500，导致大于长度1454的包在传输过程中损坏
之前http请求成功的情况包的长度仅有800字节，误导了之前的判断

解决方案:

1. 在 /etc/sysconfig/network-scripts/ifcfg-eth0 中添加 MTU="1500"
2. systemctl restart network