go通过thrift连接hbase_记一次kubernetes集群异常：kubelet连接apiserver超时

最新推荐文章于 2022-04-01 14:35:21 发布
最新推荐文章于 2022-04-01 14:35:21 发布
阅读量157 收藏
点赞数
文章标签： go通过thrift连接hbase 查看kubelet版本

f8a946b8d8e15bc5bdfdf2ed8b47b056.gif

本文通过记录kubelet连接apiserver超时问题的原因及修复办法。

上篇文章回顾：一文读懂HBase多租户

背 景

kubernetes是master-slave结构，master node是集群的大脑，当master node发生故障时整个集群都"out of control"。master node中最重要的当属apiserver组件，它负责处理所有请求，并持久化状态到etcd。一般我们会部署多份apiserver实现高可用。官方建议在多个apiserver前面部署一个LB进行负载均衡，当其中一台apiserver发生故障之后，LB自动将流量切换到其他实例上面。这样虽然简单，但是也引入了额外的依赖，如果LB发生故障将会导致全部apiserver不可用。我们知道在kubernetes中node节点上kubelet与apiserver心跳超时后，controller-manager会将该node状态置为notReady，随后驱逐其上的pod，使这些pod在其他地方重建。所以当LB发生故障时，集群中所有的node都会变为notReady状态，进而导致大规模的pod驱逐。

故 障 发 生

无独有偶，这样的事情偏偏被我们碰到了，接到线上大量node not ready的报警后，立刻上线查看，发现所有的node kubelet都报如下错误:

E0415 17:03:11.351872   16624 kubelet_node_status.go:374] Error updating node status, will retry: error getting node "k8s-slave88": Get https://10.13.10.12:6443/api/v1/nodes/k8s-slave88?resourceVersion=0&timeout=5s: net/http: request canceled (Client.Timeout exceeded while awaiting headers)E0415 17:03:16.352108   16624 kubelet_node_status.go:374] Error updating node status, will retry: error getting node "k8s-slave88": Get https://10.13.10.12:6443/api/v1/nodes/k8s-slave88?timeout=5s: net/http: request canceled (Client.Timeout exceeded while awaiting headers)E0415 17:03:21.352335   16624 kubelet_node_status.go:374] Error updating node status, will retry: error getting node "k8s-slave88": Get https://10.13.10.12:6443/api/v1/nodes/k8s-slave88?timeout=5s: net/http: request canceled (Client.Timeout exceeded while awaiting headers)E0415 17:03:26.352548   16624 kubelet_node_status.go:374] Error updating node status, will retry: error getting node "k8s-slave88": Get https://10.13.10.12:6443/api/v1/nodes/k8s-slave88?timeout=5s: net/http: request canceled (Client.Timeout exceeded while awaiting headers)E0415 17:03:31.352790   16624 kubelet_node_status.go:374] Error updating node status, will retry: error getting node "k8s-slave88": Get https://10.13.10.12:6443/api/v1/nodes/k8s-slave88?timeout=5s: net/http: request canceled (Client.Timeout exceeded while awaiting headers)E0415 17:03:31.352810   16624 kubelet_node_status.go:366] Unable to update node status: update node status exceeds retry count

日志中显示的10.13.10.12是LB的地址。通过这个日志判断是kubelet连接apiserver失败，初步怀疑是网络故障，手动telnet 10.13.10.12 6443后发现一切正常，这就比较奇怪了，明明网络通信正常，kubelet为什么连不上apiserver?

赶紧用tcpdump抓包分析了一下，发现kubelet不断地给apiservre发送包却没有收到对端的ACK，登录master查看apiserver服务也一切正常。后来同事发现重启kubelet就好了，为了尽快解决问题只能把kubelet全部重启了，后面再慢慢定位问题。

定 位 问 题

集群恢复之后，发现有故障通报LB发生了故障，联系了相关同学发现时间点刚好相符，怀疑是因为LB异常导致kubelet无法连接apiserver。

经过沟通后发现：LB会为其转发的每一个connection维护一些数据结构，当新的一台LB server上线之后会均摊一部分原来的流量，但是在其维护的数据结构中找不到该connection的记录就会认为这个请求非法，直接DROP掉。类似的事确实还发生不少，在kubernetes的isuse里有不少这样的案例，甚至需要公有云的的LB也会有这样的问题。例如：kubernetes#41916，kubernetes#48638，kubernetes-incubator/kube-aws#598

大概明白原因之后，push LB的同学改进的同时，kubelet也应该做一些改进：当kubelet连接apiserver超时之后，应该reset掉连接，进行重试。简单做了一个测试，使用iptables规则drop掉kubelet发出的流量来模拟网络异常。

首先确保kubelet与apiserver连接正常，执行netstat -antpl | grep 6443可以看到kubelet与apiserver 10.132.106.115:6443连接正常：

[root@c4-jm-i1-k8stest03 ~]# netstat -antpl  |grep kubelettcp        0      0 127.0.0.1:10248         0.0.0.0:*               LISTEN      23665/./kubelet     tcp        0      0 10.162.1.26:63876       10.132.106.115:6443     ESTABLISHED 23665/./kubelet     tcp6       0      0 :::4194                 :::*                    LISTEN      23665/./kubelet     tcp6       0      0 :::10250                :::*                    LISTEN      23665/./kubelet     tcp6       0      0 :::10255                :::*                    LISTEN      23665/./kubelet     tcp6       0      0 10.162.1.26:10250       10.132.1.30:61218       ESTABLISHED 23665/./kubelet

此时执行

iptables -I OUTPUT -p tcp --sport 63876 -j DROP

将kubelet发出的包丢掉，模拟网络故障，此时可以看到netstat的输出中该连接的Send-Q正在逐步增加，并且kubelet也打印出日志显示无法连接：

[root@c4-jm-i1-k8stest03 ~]# netstat -antpl  |grep kubelettcp        0      0 127.0.0.1:10248         0.0.0.0:*               LISTEN      23665/./kubelet     tcp        0    928 10.162.1.26:63876       10.132.106.115:6443     ESTABLISHED 23665/./kubelet

连接被hang住了，重启kubelet之后，一切又恢复了。

这个现象和当时发生故障的情况一模一样：连接异常导致kubelet心跳超时，重启kubelet后会新建连接，恢复正常心跳。因为我们当前采用的kubernetes版本是v1.10.2，下载master分支的代码编译试了下，也是有这个问题的，感觉这个问题一直存在。

艰 难 修 复

接下来就是怎么修复这个问题了。网上找了一下相关的issue，首先找到的是kubernetes/client-go#374这个issue，上面描述的情况和我们碰到的很相似，有人说是因为使用了HTTP/2.0协议(以下简称h2)，查找了一下kubelet的源码，发现kubelet默认是使用h2协议，具体的代码实现在SetTransportDefaults这个函数中。

可以通过设置环境变量DISABLE_HTTP2来禁用h2，简单验证了一下，显式设置该环境变量禁用h2后，让连接使用http1.1确实没有这个问题了。

查阅文档发现这是http1.1与http2.0的差异：在http1.1中，默认采用keep-alive复用网络连接，发起新的请求时，如果当前有闲置的连接就会复用该连接，如果没有则新建一个连接。当kubelet连接异常时，老的连接被占用，一直hang在等待对端响应，kubelet在下一次心跳周期，因为没有可用连接就会新建一个，只要新连接正常通信，心跳包就可以正常发送。

在h2中，为了提高网络性能，一个主机只建立一个连接，所有的请求都通过该连接进行，默认情况下，即使网络异常，他还是重用这个连接，直到操作系统将连接关闭，而操作系统关闭僵尸连接的时间默认是十几分钟，具体的时间可以调整系统参数：

net.ipv4.tcp_retries2, net.ipv4.tcp_keepalive_time, net.ipv4.tcp_keepalive_probes, net.ipv4.tcp_keepalive_intvl

通过调整操作系统断开异常连接的时间实现快速恢复。

h2主动探测连接故障是通过发送Ping frame来实现，这是一个优先级比较高并且payload很少的包，网络正常时是可以快速返回，该frame默认不会发送，需要显式设置才会发送。在一些gRPC等要求可靠性比较高的通信框架中都实现了Ping frame，在gRPC On HTTP/2: Engineering A Robust, High Performance Protocol中谈到：

The less clean version is where the endpoint dies or hangs without informing the client. In this case,TCP might undergo retry for as long as 10 minutes before the connection is considered failed.Of course, failing to recognize that the connection is dead for 10 minutes is unacceptable.

gRPC solves this problem using HTTP/2 semantics:when configured using KeepAlive,gRPC will periodically send HTTP/2 PING frames.These frames bypass flow control and are used to establish whether the connection is alive.

If a PING response does not return within a timely fashion,gRPC will consider the connection failed,close the connection,and begin reconnecting (as described above)

可以看到gRPC同样存在这样的问题，为了快速识别故障连接并恢复采用了Ping frame。但是目前kubernetes所建立的连接中并没有实现Ping frame，导致了无法及时发现连接异常并自愈。

社区那个issue已经开了很长时间好像并没有解决的痕迹，还得自己想办法。我们知道一个http.Client本身其实只做了一些http协议的处理，底层的通信是交给Transport来实现，Transport决定如何根据一个request返回对应的response。在kubernetes client-go中关于Transporth2的设置只有这一个函数。

// SetTransportDefaults applies the defaults from http.DefaultTransport// for the Proxy, Dial, and TLSHandshakeTimeout fields if unsetfunc SetTransportDefaults(t *http.Transport) *http.Transport {  t = SetOldTransportDefaults(t)  // Allow clients to disable http2 if needed.  if s := os.Getenv("DISABLE_HTTP2"); len(s) > 0 {    klog.Infof("HTTP2 has been explicitly disabled")  } else {    if err := http2.ConfigureTransport(t); err != nil {      klog.Warningf("Transport failed http2 configuration: %v", err)    }  }  return t}

只是调用了http2.ConfigureTransport来设置transport支持h2。这一句代码似乎太过简单，并没有任何Ping frame相关的处理逻辑。查了下golang标准库中Transport与Pingframe相关的方法。

令人遗憾的是，当前golang对于一个tcp连接的抽象ClientConn已经支持发送Ping frame，但是连接是交由连接池clientConnPool管理的，该结构是个内部的私有结构体，我们没法直接操作，封装连接池的Transport也没有暴露任何的接口来实现设置连接池中的所有连接定期发送Ping frame。如果我们想实现这个功能就必须自定义一个Transport并实现一个连接池，要实现一个稳定可靠的Transport似乎并不容易。只能求助golang社区看有没有解决方案，提交了一个issue后，很快就有人回复并提交了PR，查看了一下，实现还是比较简单的，于是基于这个PR实现了clinet-go的Ping frame的探测。

峰 回 路 转

开发完毕准备上线的时候，想趁这次修复升级一下kubernetes版本到v1.10.11，一般patch release是保证兼容的。在测试v1.10.11的时候惊奇的发现，即使不改任何代码，这个问题也没办法复现了。说明在v1.10.2中是有问题的，在v1.10.11中恢复了，接着在master中又引入了这个问题，看来还得需要仔细阅读一下这部分代码了，到底是发生了什么。

经过阅读代码，发现这个逻辑曾经被修复过，参考下方链接：

https://github.com/kubernetes/kubernetes/pull/63492

并且backport到1.10.3的代码中，当连接异常时会会调用closeAllConns强制关闭掉所有的连接使其重建。

随后又引入了regression，将closeAllConns置为nil，导致连接无法正常关闭。

明白了这个逻辑之后修改就简单了，将closeAllConns再置为正确的值即可，给官方提交了一个pr，官方很乐意就接受了，并backport到了1.14版本中。至此这个就算完全修复了，当然可以通过上文提到的给h2增加Ping frame的方式解决该问题，这是这种方案可能比较复杂，修复时间比较长。

参考链接

1、https://github.com/kubernetes/kubernetes/issues/41916

2、https://github.com/kubernetes/kubernetes/issues/48638

3、https://github.com/kubernetes-incubator/kube-aws/issues/598

4、https://github.com/kubernetes/client-go/issues/374

5、https://github.com/kubernetes/apimachinery/blob/b874eabb9a4eb99cef27db5c8d06f16542580cec/pkg/util/net/http.go#L109-L120

6、https://www.cncf.io/blog/2018/08/31/grpc-on-http-2-engineering-a-robust-high-performance-protocol/

7、https://github.com/kubernetes/kubernetes/pull/63492

8、https://github.com/kubernetes/kubernetes/pull/71174

9、https://github.com/golang/go/issues/31643

10、https://github.com/kubernetes/kubernetes/pull/78016

e05a1c67e6b7d4fdeebcbb4fbbe6bc0c.gif

c5f7d5e86f186801b0f2dec434b300f1.png

我知道你会再看一下的 1fc3553dc71b87a25ef3aa753ced494c.gif
weixin_39781363
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Building online HBase cluster of Zhihu based on Kubernetes
mtj66的博客，交流WX:SpringBreeze1104
12-14 565
Building online HBase cluster of Zhihu based on Kubernetes 采用 Kubernetes 进行hbase部署，扩展性大大增强。https://www.slideshare.net/HBaseCon?utm_campaign=profiletracking&utm_medium=sssite&utm_source=ssslideview同样对s
基于Kubernetes搭建HBase在知乎的实践.pdf
08-28
基于Kubernetes搭建HBase在知乎的实践
记一次kubernetes集群异常: kubelet连接apiserver超时
wangchaoqi1985的博客
12-14 249
记一次kubernetes集群异常: kubelet连接apiserver超时
Kubernetes-在Kubernetes集群上搭建HBase集群
weixin_34281537的博客
08-07 2430
经过3天的努力，终于在Kubernetes上把HBase集群搭建起来了，搭建步骤如下。 创建HBase镜像   配置文件包含core-site.xml、hbase-site.xml、hdfs-site.xml和yarn-site.xml，因为我这里是基于我之前搭建和zookeeper和Hadoop环境进行的...
Hbase简介
qq_45860217的博客
10-23 408
HBase简介 HBase是一个高可靠、高性能、面向列、可伸缩的分布式数据库，是谷歌BigTable的开源实现，主要用来存储非结构化和半结构化的松散数据。HBase的目标是处理非常庞大的表，可以通过水平扩展的方式，利用廉价计算机集群处理由超过10亿行数据和数百万列元素组成的数据表。 为什么要用HBase Hadoop可以很好地解决大规模数据地离线批量处理问题，但是，受限于Hadoop MapReduce编程框架地高延迟数据处理机制，使得Hadoop无法满足大规模数据实时处理应用的需求 HDFS面向批量访问
C#通过thrift连接hbase操作步骤
12-22
　2、利用thrift-0.9.1.exe工具生成thrift连接hbase的客户端接口代码： 　从hbase源码包目录 　hbase-0.96.0-srchbase-0.96.0hbase-thriftsrcmainesourcesorgapachehadoophbase hrift 　找到HBase.Thrift文件，...
Python3通过thrift连接hbase库_修改版，个人已验证
08-22
python3通过thrift连接hbase模块修改版,其中hbase-python3,里面的path，根据实际实际路径修改.
Java通过thrift连接hbase.docx
11-27
Java通过thrift连接hbase.docxJava通过thrift连接hbase.docx
python3.7通过thrift操作hbase的示例代码
12-23
python3.7 通过 thrift ， rpc 接口操作 hbase ，指定依赖库为： thrift 和 hbase-thrift 。 然而我们 在 python3.7 环境中发现 hbase-thrift-0.20.4 无法被支持， hbase-thrift 官方仅推荐用于 python2.x 。 于是有...
go thrift访问hbase
04-19
博客配套文件，详细演示了go通过thrift1和thrift2接口访问hbase的方法，并给出了批量访问的简单封装接口。
golang-thrift 使用hbase教程
gitxuzan
04-01 3861
1.hbase知识 进入shell命令: /usr/local/hbase/bin/hbase shell create 'ulive_test', 'i' // 创建一个列族 i help // 查看所有命令 list // 查看所有表 describe 'student' // 查看表结构 // 删除表之前需要 disable disable 'student' drop 'student' 命名空间 list_namespace 创建空间 create_namespac
Kubernetes+Flannel 环境中部署HBase集群
weixin_34294649的博客
12-01 259
2015-12-14注：加入新节点不更改运行节点参数需求已满足，将在后续文章中陆续总结。 注：目前方案不满足加入新节点（master节点或regionserver节点）而不更改已运行节点的参数的需求，具体讨论见第六部分。 一、背景知识 先看下HBase的组成： Master：Master主要负责管理RegionServer集群，如负载均衡及资源分配等，它本身也可以以集群方式运行，但同一...
hbase基础介绍
铁头铁头
09-07 496
本文由毕杰山同学贡献 ，原文首发于公众号：NoSQL漫谈  链接：https://mp.weixin.qq.com/s/CXsGcbbsKTMXotlwRFQ5xw开篇用惯了Oracle/MySQL的同学们，心目中的...
钢桁架结构振动特性渐变分析工具
最新发布
05-20
钢桁架结构振动特性渐变分析工具
数据库实战-收集一些常见的 MySQL 死锁案例.zip
05-20
数据库实战-收集一些常见的 MySQL 死锁案例.zip 数据库实战-收集一些常见的 MySQL 死锁案例.zip 在工作过程中偶尔会遇到死锁问题，虽然这种问题遇到的概率不大，但每次遇到的时候要想彻底弄懂其原理并找到解决方案却并不容易。这个项目收集了一些常见的 MySQL 死锁案例，大多数案例都来源于网络，并对其进行分类汇总，试图通过死锁日志分析出每种死锁的原因，还原出死锁现场。 实际上，我们在定位死锁问题时，不仅应该对死锁日志进行分析，还应该结合具体的业务代码，或者根据 binlog，理出每个事务执行的 SQL 语句。
Android的移动应用与php服务器交互实例源码.rar
05-20
Android的移动应用与php服务器交互实例源码.rar
【滤波跟踪】基于matlab平方根容积卡尔曼滤波机器人手臂运动跟踪【含Matlab源码 4540期】.mp4
05-20
Matlab研究室上传的视频均有对应的完整代码，皆可运行，亲测可用，适合小白； 1、代码压缩包内容 主函数：main.m； 调用函数：其他m文件；无需运行 运行结果效果图； 2、代码运行版本 Matlab 2019b；若运行有误，根据提示修改；若不会，私信博主； 3、运行操作步骤 步骤一：将所有文件放到Matlab的当前文件夹中； 步骤二：双击打开main.m文件； 步骤三：点击运行，等程序运行完得到结果； 4、仿真咨询 如需其他服务，可私信博主或扫描视频QQ名片； 4.1 博客或资源的完整代码提供 4.2 期刊或参考文献复现 4.3 Matlab程序定制 4.4 科研合作
计算BMI等一些关于热量和蛋白质摄入的小工具.zip
05-20
蛋白质是生物体中普遍存在的一类重要生物大分子，由天然氨基酸通过肽键连接而成。它具有复杂的分子结构和特定的生物功能，是表达生物遗传性状的一类主要物质。 蛋白质的结构可分为四级：一级结构是组成蛋白质多肽链的线性氨基酸序列；二级结构是依靠不同氨基酸之间的C=O和N-H基团间的氢键形成的稳定结构，主要为α螺旋和β折叠；三级结构是通过多个二级结构元素在三维空间的排列所形成的一个蛋白质分子的三维结构；四级结构用于描述由不同多肽链（亚基）间相互作用形成具有功能的蛋白质复合物分子。 蛋白质在生物体内具有多种功能，包括提供能量、维持电解质平衡、信息交流、构成人的身体以及免疫等。例如，蛋白质分解可以为人体提供能量，每克蛋白质能产生4千卡的热能；血液里的蛋白质能帮助维持体内的酸碱平衡和血液的渗透压；蛋白质是组成人体器官组织的重要物质，可以修复受损的器官功能，以及维持细胞的生长和更新；蛋白质也是构成多种生理活性的物质，如免疫球蛋白，具有维持机体正常免疫功能的作用。 蛋白质的合成是指生物按照从脱氧核糖核酸（DNA）转录得到的信使核糖核酸（mRNA）上的遗传信息合成蛋白质的过程。这个过程包括氨基酸的活化、多肽链合成的起始、肽链的延长、肽链的终止和释放以及蛋白质合成后的加工修饰等步骤。 蛋白质降解是指食物中的蛋白质经过蛋白质降解酶的作用降解为多肽和氨基酸然后被人体吸收的过程。这个过程在细胞的生理活动中发挥着极其重要的作用，例如将蛋白质降解后成为小分子的氨基酸，并被循环利用；处理错误折叠的蛋白质以及多余组分，使之降解，以防机体产生错误应答。 总的来说，蛋白质是生物体内不可或缺的一类重要物质，对于维持生物体的正常生理功能具有至关重要的作用。
IMG_20240520_180055.HEIC
05-20
IMG_20240520_180055.HEIC
Python通过thrift连接Hbase
07-08
要在Python中使用Thrift连接HBase，您需要按照以下步骤进行设置： 1. 安装所需的依赖项： 您需要安装`thrift`和`happybase`这两个Python库。可以使用以下命令进行安装： ```bash pip install thrift happybase ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值