记一次k8s的calico跨节点网络不通的问题及排错过程和解决方法

集群内部介绍：
集群内布有四个节点：

节点名称	主机IP
km1	192.168.1.1
kn1	192.168.1.2
kn2	192.168.1.3
kn3	192.168.1.4

网络不通的表征：
进入节点km1的pod，ping kn1-3节点上的pod的ip都不通，kn1-3节点ping km1也不通，但是kn1 kn2 kn3之间他们各自节点上的pod的ip之间是可以相互ping通。

排查过程：
这种情况让我们想起了当时设置路由转发时候的配置，因为我们的四台服务器，只有一个公网IP，我们把192.168.1.1设置为192.168.2~4去公网的网关，从而使整个集群都可以访问公网，我们设置了两块网卡，em3为内网网卡，em4为外网的网卡，同时公网网卡em4配置以公网的ip和掩码等配置，内网网卡配置以内网的ip等配置，路由转发配置如下：

设置路由转发,em3是内网网卡，em4是外网网卡
sudo firewall-cmd --change-interface=em3 --zone=internal --permanent
sudo firewall-cmd --change-interface