k8s篇-问题汇总

1 节点重启导致的网络故障

问题现象：
node5内存资源不足导致机器重启，进而导致集群node2，node3节点也跟着崩溃重启，节点全部ready以后pod看着正常，但是curl nodeport发现只有node5的pod可以通，node2，node3的都curl不通；开发反馈其他通过eureka互相调用的服务之间也有问题

排查思路：
推测flannel或者docker的网络有问题；
查看各节点flannel服务日志, 发现kube-node5节点获取到的网段和docker网段不一致,
查看/run/flannel/subnet.env文件,其中的网段信息与日志一致, 断定是docker启动时没有读取到正确的配置

解决方式：重启node5上的docker服务

2 k8s升级1.15到1.20遇到的问题

问题一：新加的1.20 节点无法加入集群中，但是kubelet、kubeproxy服务状态和各项配置均正常，包括csr、token等等，但是kubelet的日志里报错为： node…unAuthorized，各种…unAuthorized

原因：不明

解决方式：重启所有master节点的controller-manager

问题二：升级之后，无法挂载PVC，报错为 kubernetes.io/csi: expected valid fsGroupPolicy, received nil value or empty string
原因：感觉是不兼容
解决方式：参考：https://github.com/kubernetes-csi/csi-driver-smb/issues/176，在kubelet启动文件(我的是/etc/systemd/system/kubelet.service)文件中添加 --feature-gates=CSIVolumeFSGroupPolicy=false，然后重启

问题3：升级之后发现telent nodeport有的通有的不通，排查了一下ipvsadm -Ln策略发现，转发策略中的pod ip不对
原因：不明
解决方法：重启api-server

问题4：在1.15.6的时候使用过oss作为storageClass，后来都改成了nas，但是安装的插件一直没卸载掉，kubelet中一直有报错：
Operation for “/var/lib/kubelet/plugins/ossplugin.csi.alibabacloud.com/csi.sock” failed. No retries permitted until 2021-12-30 11:19:23.44011857 +0800 CST m=+35139501.833580277 (durationBeforeRetry 2m2s). Error: "RegisterPlugin error – dial failed at socket /var/lib/kubelet/plugins/ossplugin.csi.alibabacloud.com/csi.sock, err: failed to dial socket /var/lib/kubelet/plugins/ossplugin.csi.alibabacloud.com/csi.sock, err: context deadline exceeded
升级到1.20.11之后删除插件文件会自动取消注册，然后就不会有这个报错了。但是1.15.6删除插件文件也不会自动取消注册，会一直retry，还是会有这个报错的
解决方法：1.20.11删除oss插件解除报错：
rm -rf /var/lib/kubelet/plugins/ossplugin.csi.alibabacloud.com
rm -f /var/lib/kubelet/plugins_registry/ossplugin.csi.alibabacloud.com-reg.sock