【原创】zookeeper 使用中的 TCP 链路残留问题

最新推荐文章于 2023-02-27 15:32:37 发布
最新推荐文章于 2023-02-27 15:32:37 发布
阅读量381 收藏
点赞数
文章标签： 大数据 网络 java
原文链接：https://my.oschina.net/moooofly/blog/636830
版权

2019独角兽企业重金招聘Python工程师标准>>> hot3.png


最近公司环境中报了一个 zookeeper 相关问题，问题描述如下：

业务人员发现xx资源被重复上报了，导致资源池中的内容出了问题，问题的发现是在一次机房断电后，据相关人员说，上报资源的业务也重启（也可能是被强杀）过几次。

      最终看到的结果是，连接到 zookeeper 的 TCP 连接出现了多条，而正常情况下，业务和 zookeeper 之间的 TCP 连接只有一条，同时发现，多出的几条 TCP 连接似乎都是该业务每次重启（也可能是被强杀）后残留下来的。
      那么问题就来了，为什么系统中仅仅跑了一个业务进程，而一个进程只会建立一条到 zookeeper 的 TCP 链路，但却同时存在多条？退一步讲，即使在一段时间内，存在了多条残留的 TCP 连接，但 zookeeper 也应该能够通过心跳机制，检测到相应连接已经断开了呀（遗憾的时，排查问题的相关人员，在发现问题后没有针对几条疑似残留的 TCP 连接进行抓包分析），为何在观察的几个小时内（观察时间超过了 2 个小时）毫无反应？

该问题由于不是我主要负责，所以我也就基于自己了解到的信息查询了相关资料，排查过程如下：

1.确认 zookeeper 心跳相关内容

客户端侧代码如下




       对一个正常 zookeeper TCP 连接进行抓包，可以看到下图


      从上图中可以看出，在空闲状态下，每隔 3 秒左右，业务（客户端）会主动向 zookeeper 发送心跳请求（ping），zookeeper 也会进行相应的应答回复。
       另一个发现，当根据包的大小进行排序后（例如长度为 74 的包对应了 ping），可以看到：所有的心跳请求都是由业务（客户端）发送给 zookeeper ，反方向却一个没有~~
这个行为就有点意思了，假设 zookeeper 不会主动发送心跳请求给客户端，那么如果其没有实现一个连接超时检测机制（或者该机制存在 bug）的话，当客户端侧发生异常，则是由可能导致 TCP 连接残留的。
      由于 zookeeper 服务端代码我没看过，咨询过相关维护人员，其告诉我 zookeeper 侧是存在这种超时检测机制的，所以理论上讲应该不存在上述问题~~

查看了 zookeeper 的配置信息，似乎也没什么特别问题

[root@upu_2 ~]# ps aux|grep zook
root      7853  0.1  5.4 6213632 888956 ?      Sl   Mar10   3:59 /usr/java/jdk1.6.0_45/bin/java -Dzookeeper.log.dir=/var/log/zookeeper -Dzookeeper.root.logger=INFO,CONSOLE -cp /usr/local/zookeeper/bin/../build/classes:/usr/local/zookeeper/bin/../build/lib/*.jar:/usr/local/zookeeper/bin/../lib/slf4j-log4j12-1.6.1.jar:/usr/local/zookeeper/bin/../lib/slf4j-api-1.6.1.jar:/usr/local/zookeeper/bin/../lib/netty-3.2.2.Final.jar:/usr/local/zookeeper/bin/../lib/log4j-1.2.15.jar:/usr/local/zookeeper/bin/../lib/jline-0.9.94.jar:/usr/local/zookeeper/bin/../zookeeper-3.4.5.jar:/usr/local/zookeeper/bin/../src/java/lib/*.jar:/usr/local/zookeeper/bin/../conf: org.apache.zookeeper.server.quorum.QuorumPeerMain /usr/local/zookeeper/bin/../conf/zoo.cfg
root     17915  0.0  0.0 103252   844 pts/1    S+   10:11   0:00 grep zook
[root@upu_2 ~]# 
[root@upu_2 ~]# 
[root@upu_2 ~]# cat /usr/local/zookeeper/bin/../conf/zoo.cfg
tickTime=2000
dataDir=/usr/local/zookeeper/data
initLimit=5
syncLimit=2
clientPort=2181
autopurge.snapRetainCount=6
autopurge.purgeInterval=12
server.2=10.23.46.35:2888:3888
[root@upu_2 ~]#


2.怀疑 zookeeper 在 ipv6 地址上进行监听存在缺陷

      后来有大牛在排查时注意到出现问题的 TCP 连接，均属于 IPv6 而并非常见的 IPv4 ，那么是否和这个有关呢？
查看《 ZooKeeper Administrator's Guide 》，有如下说明：

Configuration Parameters
...
clientPort
    the port to listen for client connections; that is, the port that clients attempt to connect to.
...
clientPortAddress
    New in 3.3.0: the address (ipv4, ipv6 or hostname) to listen for client connections; that is, the address that clients attempt to connect to. This is optional, by default we bind in such a way that any connection to the clientPort for any address/interface/nic on the server will be accepted.

另外，网上可以查到的文章都说

  • 若不配置 clientPortAddress 的话，则 zookeeper 默认会监听 IPv6 地址（当然，前提是你的机器配置了 IPv6 相关内容）；
  • 可以通过在 zookeeper 的启动脚本中配置 "-Djava.net.preferIPv4Stack=true" 以强制其优先使用 IPv4 接收来自客户端的连接（可能存在客户端通过 IPv4 地址连接不上 zookeeper 的 IPv6 监听上的情况）；

根据我观察到的情况，结论如下：

  • 在不配置 clientPortAddress 的情况下，服务器确实监听的是 IPv6 ；
  • 在不强制 zookeeper 优先使用 IPv4 的情况下，其依然可以接收来自 IPv4 的连接；
[root@upu_2 zookeeper]# lsof -i :2181 -P
COMMAND   PID USER   FD   TYPE   DEVICE SIZE/OFF NODE NAME
java     7853 root   16u  IPv6    21294      0t0  TCP *:2181 (LISTEN)
...
java     7853 root   27u  IPv6 15051913      0t0  TCP 10.23.46.36:2181->10.23.46.36:26888 (ESTABLISHED)
css     29804 root  113u  IPv4 15051910      0t0  TCP 10.23.46.36:26888->10.23.46.36:2181 (ESTABLISHED)

既然 TCP 连接（即 IPv6 协议栈能够正确处理 IPv4 连接）没有问题，那么接下来的问题就是，出现问题的连接和其他的连接有和不同？
实验如下

[root@upu_2 zookeeper]# lsof -i :2181 -P
COMMAND   PID USER   FD   TYPE   DEVICE SIZE/OFF NODE NAME
java     7853 root   16u  IPv6    21294      0t0  TCP *:2181 (LISTEN)
java     7853 root   19u  IPv6 11514633      0t0  TCP 10.23.46.36:2181->10.23.46.39:26570 (ESTABLISHED)
java     7853 root   20u  IPv6 11514635      0t0  TCP 10.23.46.36:2181->10.23.46.42:37657 (ESTABLISHED)
java     7853 root   21u  IPv6 11515884      0t0  TCP 10.23.46.36:2181->10.23.46.43:33259 (ESTABLISHED)
java     7853 root   22u  IPv6 11515899      0t0  TCP 10.23.46.36:2181->10.23.46.39:26577 (ESTABLISHED)
java     7853 root   23u  IPv6 11516014      0t0  TCP 10.23.46.36:2181->10.23.46.39:26581 (ESTABLISHED)
java     7853 root   24u  IPv6 11516017      0t0  TCP 10.23.46.36:2181->10.23.46.39:26584 (ESTABLISHED)
java     7853 root   25u  IPv6 11516068      0t0  TCP 10.23.46.36:2181->10.23.46.39:26586 (ESTABLISHED)
java     7853 root   26u  IPv6 11516069      0t0  TCP 10.23.46.36:2181->10.23.46.39:26587 (ESTABLISHED)
java     7853 root   27u  IPv6 15051913      0t0  TCP 10.23.46.36:2181->10.23.46.36:26888 (ESTABLISHED)
css     29804 root  113u  IPv4 15051910      0t0  TCP 10.23.46.36:26888->10.23.46.36:2181 (ESTABLISHED)
[root@upu_2 zookeeper]# 


[root@upu_2 zookeeper]# tcpdump -i eth2 tcp port 26570 -s 0     
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on eth2, link-type EN10MB (Ethernet), capture size 65535 bytes
14:41:40.342746 IP 10.23.46.39.26570 > 10.23.46.36.eforward: Flags [P.], seq 2527560660:2527560664, ack 198355173, win 269, options [nop,nop,TS val 170901466 ecr 170833048], length 4
14:41:40.342764 IP 10.23.46.39.26570 > 10.23.46.36.eforward: Flags [P.], seq 4:12, ack 1, win 269, options [nop,nop,TS val 170901466 ecr 170833048], length 8
14:41:40.343032 IP 10.23.46.36.eforward > 10.23.46.39.26570: Flags [.], ack 12, win 114, options [nop,nop,TS val 170836385 ecr 170901466], length 0
14:41:40.343332 IP 10.23.46.36.eforward > 10.23.46.39.26570: Flags [P.], seq 1:21, ack 12, win 114, options [nop,nop,TS val 170836385 ecr 170901466], length 20
14:41:40.343418 IP 10.23.46.39.26570 > 10.23.46.36.eforward: Flags [.], ack 21, win 269, options [nop,nop,TS val 170901467 ecr 170836385], length 0
^C
5 packets captured
11 packets received by filter
0 packets dropped by kernel
[root@upu_2 zookeeper]# ^C
[root@upu_2 zookeeper]# 
[root@upu_2 zookeeper]# 
[root@upu_2 zookeeper]# tcpdump -i eth2 tcp port 37657 -s 0     
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on eth2, link-type EN10MB (Ethernet), capture size 65535 bytes
14:41:50.340486 IP 10.23.46.42.37657 > 10.23.46.36.eforward: Flags [P.], seq 4258153112:4258153116, ack 4088319963, win 18, length 4
14:41:50.340501 IP 10.23.46.42.37657 > 10.23.46.36.eforward: Flags [P.], seq 4:12, ack 1, win 18, length 8
14:41:50.340625 IP 10.23.46.36.eforward > 10.23.46.42.37657: Flags [.], ack 12, win 537, length 0
14:41:50.340798 IP 10.23.46.36.eforward > 10.23.46.42.37657: Flags [P.], seq 1:21, ack 12, win 537, length 20
14:41:50.340927 IP 10.23.46.42.37657 > 10.23.46.36.eforward: Flags [.], ack 21, win 18, length 0

^C
5 packets captured
5 packets received by filter
0 packets dropped by kernel
[root@upu_2 zookeeper]# 
[root@upu_2 zookeeper]# 
[root@upu_2 zookeeper]# tcpdump -i eth2 tcp port 33259 -s 0     
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on eth2, link-type EN10MB (Ethernet), capture size 65535 bytes
14:42:00.802239 IP 10.23.46.43.33259 > 10.23.46.36.eforward: Flags [P.], seq 3634190124:3634190128, ack 3831351430, win 18, length 4
14:42:00.802258 IP 10.23.46.43.33259 > 10.23.46.36.eforward: Flags [P.], seq 4:12, ack 1, win 18, length 8
14:42:00.802377 IP 10.23.46.36.eforward > 10.23.46.43.33259: Flags [.], ack 12, win 501, length 0
14:42:00.802562 IP 10.23.46.36.eforward > 10.23.46.43.33259: Flags [P.], seq 1:21, ack 12, win 501, length 20
14:42:00.802691 IP 10.23.46.43.33259 > 10.23.46.36.eforward: Flags [.], ack 21, win 18, length 0

^C
5 packets captured
5 packets received by filter
0 packets dropped by kernel
[root@upu_2 zookeeper]# ^C
[root@upu_2 zookeeper]# 
[root@upu_2 zookeeper]# 
[root@upu_2 zookeeper]# tcpdump -i eth2 tcp port 26577 -s 0     
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on eth2, link-type EN10MB (Ethernet), capture size 65535 bytes
14:42:08.255987 IP 10.23.46.39.26577 > 10.23.46.36.eforward: Flags [P.], seq 245299443:245299447, ack 584627376, win 58, options [nop,nop,TS val 170929380 ecr 170860963], length 4
14:42:08.256011 IP 10.23.46.39.26577 > 10.23.46.36.eforward: Flags [P.], seq 4:12, ack 1, win 58, options [nop,nop,TS val 170929380 ecr 170860963], length 8
14:42:08.256176 IP 10.23.46.36.eforward > 10.23.46.39.26577: Flags [.], ack 12, win 1539, options [nop,nop,TS val 170864298 ecr 170929380], length 0
14:42:08.256503 IP 10.23.46.36.eforward > 10.23.46.39.26577: Flags [P.], seq 1:21, ack 12, win 1539, options [nop,nop,TS val 170864298 ecr 170929380], length 20
14:42:08.256640 IP 10.23.46.39.26577 > 10.23.46.36.eforward: Flags [.], ack 21, win 58, options [nop,nop,TS val 170929380 ecr 170864298], length 0

^C
5 packets captured
6 packets received by filter
0 packets dropped by kernel
[root@upu_2 zookeeper]# 
[root@upu_2 zookeeper]# 
[root@upu_2 zookeeper]# tcpdump -i eth2 tcp port 26581 -s 0     
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on eth2, link-type EN10MB (Ethernet), capture size 65535 bytes
14:42:17.330446 IP 10.23.46.39.26581 > 10.23.46.36.eforward: Flags [P.], seq 311282941:311282945, ack 758925432, win 58, options [nop,nop,TS val 170938454 ecr 170870040], length 4
14:42:17.330466 IP 10.23.46.39.26581 > 10.23.46.36.eforward: Flags [P.], seq 4:12, ack 1, win 58, options [nop,nop,TS val 170938454 ecr 170870040], length 8
14:42:17.330588 IP 10.23.46.36.eforward > 10.23.46.39.26581: Flags [.], ack 12, win 114, options [nop,nop,TS val 170873373 ecr 170938454], length 0
14:42:17.330816 IP 10.23.46.36.eforward > 10.23.46.39.26581: Flags [P.], seq 1:21, ack 12, win 114, options [nop,nop,TS val 170873373 ecr 170938454], length 20
14:42:17.330976 IP 10.23.46.39.26581 > 10.23.46.36.eforward: Flags [.], ack 21, win 58, options [nop,nop,TS val 170938455 ecr 170873373], length 0

^C
5 packets captured
5 packets received by filter
0 packets dropped by kernel
[root@upu_2 zookeeper]# 
[root@upu_2 zookeeper]# 
[root@upu_2 zookeeper]# tcpdump -i eth2 tcp port 26584 -s 0     
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on eth2, link-type EN10MB (Ethernet), capture size 65535 bytes
14:42:25.784667 IP 10.23.46.39.26584 > 10.23.46.36.eforward: Flags [P.], seq 2592715739:2592715743, ack 2440448357, win 58, options [nop,nop,TS val 170946908 ecr 170880076], length 4
14:42:25.784688 IP 10.23.46.39.26584 > 10.23.46.36.eforward: Flags [P.], seq 4:109, ack 1, win 58, options [nop,nop,TS val 170946908 ecr 170880076], length 105
14:42:25.784825 IP 10.23.46.36.eforward > 10.23.46.39.26584: Flags [.], ack 109, win 114, options [nop,nop,TS val 170881827 ecr 170946908], length 0
14:42:25.789914 IP 10.23.46.36.eforward > 10.23.46.39.26584: Flags [P.], seq 1:89, ack 109, win 114, options [nop,nop,TS val 170881832 ecr 170946908], length 88
14:42:25.790030 IP 10.23.46.39.26584 > 10.23.46.36.eforward: Flags [.], ack 89, win 58, options [nop,nop,TS val 170946914 ecr 170881832], length 0

^C
5 packets captured
12 packets received by filter
0 packets dropped by kernel
[root@upu_2 zookeeper]# ^C
[root@upu_2 zookeeper]# 
[root@upu_2 zookeeper]# 
[root@upu_2 zookeeper]# tcpdump -i eth2 tcp port 26586 -s 0          
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on eth2, link-type EN10MB (Ethernet), capture size 65535 bytes
14:42:37.566211 IP 10.23.46.39.26586 > 10.23.46.36.eforward: Flags [P.], seq 1062233276:1062233280, ack 4128653018, win 769, options [nop,nop,TS val 170958690 ecr 170890272], length 4
14:42:37.566230 IP 10.23.46.39.26586 > 10.23.46.36.eforward: Flags [P.], seq 4:12, ack 1, win 769, options [nop,nop,TS val 170958690 ecr 170890272], length 8
14:42:37.566348 IP 10.23.46.36.eforward > 10.23.46.39.26586: Flags [.], ack 12, win 114, options [nop,nop,TS val 170893608 ecr 170958690], length 0
14:42:37.566500 IP 10.23.46.36.eforward > 10.23.46.39.26586: Flags [P.], seq 1:21, ack 12, win 114, options [nop,nop,TS val 170893608 ecr 170958690], length 20
14:42:37.566641 IP 10.23.46.39.26586 > 10.23.46.36.eforward: Flags [.], ack 21, win 769, options [nop,nop,TS val 170958690 ecr 170893608], length 0

^C
5 packets captured
5 packets received by filter
0 packets dropped by kernel
[root@upu_2 zookeeper]# ^C
[root@upu_2 zookeeper]# 
[root@upu_2 zookeeper]# 
[root@upu_2 zookeeper]# tcpdump -i eth2 tcp port 26587 -s 0     
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on eth2, link-type EN10MB (Ethernet), capture size 65535 bytes
14:42:45.986057 IP 10.23.46.36.eforward > 10.23.46.39.26587: Flags [P.], seq 335958315:335958381, ack 2473985165, win 114, options [nop,nop,TS val 170902028 ecr 170965365], length 66
14:42:45.986197 IP 10.23.46.39.26587 > 10.23.46.36.eforward: Flags [.], ack 66, win 771, options [nop,nop,TS val 170967110 ecr 170902028], length 0
14:42:45.986330 IP 10.23.46.39.26587 > 10.23.46.36.eforward: Flags [P.], seq 1:5, ack 66, win 771, options [nop,nop,TS val 170967110 ecr 170902028], length 4
14:42:45.986346 IP 10.23.46.39.26587 > 10.23.46.36.eforward: Flags [P.], seq 5:52, ack 66, win 771, options [nop,nop,TS val 170967110 ecr 170902028], length 47
14:42:45.986453 IP 10.23.46.36.eforward > 10.23.46.39.26587: Flags [.], ack 52, win 114, options [nop,nop,TS val 170902028 ecr 170967110], length 0
14:42:45.986671 IP 10.23.46.36.eforward > 10.23.46.39.26587: Flags [P.], seq 66:209, ack 52, win 114, options [nop,nop,TS val 170902029 ecr 170967110], length 143
14:42:46.026053 IP 10.23.46.39.26587 > 10.23.46.36.eforward: Flags [.], ack 209, win 771, options [nop,nop,TS val 170967150 ecr 170902029], length 0

^C
7 packets captured
8 packets received by filter
0 packets dropped by kernel
[root@upu_2 zookeeper]# ^C
[root@upu_2 zookeeper]# 
[root@upu_2 zookeeper]# 
[root@upu_2 zookeeper]# tcpdump -i eth2 tcp port 26888 -s 0     
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on eth2, link-type EN10MB (Ethernet), capture size 65535 bytes

（过了很久也没抓到任何东西，后来发现原来是抓错了网口，应该抓 lo 才对，ORZ...）

^C
0 packets captured
1 packets received by filter
0 packets dropped by kernel
[root@upu_2 zookeeper]# ^C
[root@upu_2 zookeeper]#

总之，从实验中可以看到，针对所有的 zookeeper 连接进行抓包，所有连接上都抓到了心跳交互。

3.怀疑业务与 zookeeper 通过虚地址建立的 TCP 在异常断电时有问题

从连接信息上看，本地业务通过虚地址连接到了 zookeeper 上。

难道这个情况和虚地址有关系？这个问题目前无法确认，因为测试人员在自己的环境中进行模拟测试时，无法复现该问题。

很遗憾，目前这个问题尚无结论，期待复现后找到问题的根本原因，再来补全此文~~

 

转载于:https://my.oschina.net/moooofly/blog/636830

weixin_33895516
关注
ZooKeeper 实战：使用 Docker Compose 部署 ZooKeeper 集群
SmartSi
05-05 743
ZooKeeper是一个开源的分布式协调服务，用于管理大型分布式系统中的数据。它由Apache软件基金会提供，最初是Hadoop的一个子项目，但后来发展成为一个独立的顶级项目。ZooKeeper提供的一致性协调服务对于构建分布式应用和服务非常重要，特别是在需要精确的领导选举、配置管理、命名服务、分布式同步和提供分布式锁等功能时。
spring boot中zookeeper使用
panda-star的博客
10-15 6802
spring boot中zookeeper使用 文章目录spring boot中zookeeper使用一、简介二、示例2.1 添加maven依赖2.2 添加配置文件application.yaml2.3 定义zookeeper客户端2.4 定义zookeeper监听器2.5 启动类2.6 测试 一、简介 这里介绍zookeeper在spring boot中的使用，直接代码示例。 二、示例 2.1 添加maven依赖 <?xml version="1.0" encoding="UTF-8"?> &
TCP连接断开正常流程（避免残留LAST_ACK,FIN_WAIT2,CLOSE_WAIT）
sun77的博客
05-01 2155
背景： 测试socket程序，假设服务端监听5660端口，客户端去连接。客户端和服务端程序退出后， 服务端查看端口，有时会存在处于LAST_ACK状态的5660端口。导致服务端不能马上重开继续绑定5660端口，会绑定失败。 TCP连接断开流程图参照： 原因分析： 根据上图，服务端残留LAST_ACK状态的socket，是由于服务端调用close后，没有收到客户端返回的ACK确认包导致。 比较好的...
zookeeper服务搭建
殷素素的博客
07-06 325
官网下载zookeeper ，解压到指定目录后修改或复制 zoo_sample.cfg zoo.cfg 内容如下 tickTime=2000 # The number of ticks that the initial # synchronization phase can take initLimit=10 # The number of ticks that can pass between ...
ZooKeeper——网络通信协议原理
庄小焱
12-23 1003
摘要 在 ZooKeeper 中无论是客户端和服务器之间的通信，还是集群之间服务器的内部协同工作都是基于网络进行通信的。而网络通信协议则是影响 ZooKeeper 性能和稳定性的核心点。而 ZooKeeper 则是在 TCP/IP 协议的基础上实现了自己特有的通信协议格式。在 ZooKeeper 中一次客户端的请求协议由请求头、请求体组成。而在一次服务端的响应协议中由响应头和响应体组成。 ZooKeeper 协议的底层实现 ZooKeeper 中的内部对于网络通信协议的底层是怎么样实现的。 请求协议
Tcpdump抓包验证zookeeper的心跳机制
最新发布
mrqiuwen的博客
02-27 1182
通过linux自带的工具tcpdump对zookeeper的客户端和服务端之间进行抓包，验证zk客户端与服务器之间心跳消息的时间间隔
ZooKeeper TCP连接被防火墙阻断排查过程
丰年留客的专栏
11-21 1375
结合TCP/IP协议应用+Wireshark使用，查找问题的原因。
java 中 zookeeper简单使用
08-29
在Java中使用ZooKeeper，首先需要理解ZooKeeper的核心概念和原理。ZooKeeper作为一个分布式协调服务，它提供了一种树状的数据模型，每个节点（ZNode）都有唯一的路径标识，可以存储少量数据和权限控制信息（ACL）。...
基于Zookeeper的使用详解
10-27
Zookeeper设计之初就考虑到分布式系统中的协作冲突问题，它旨在让分布式服务不再需要由于协作冲突而另外实现协作服务，简化了分布式应用的设计和实现。 Zookeeper的核心概念是一个类似文件系统的层级命名空间，这个...
zookeeper集群搭建
eyexin2018的博客
03-01 323
• Zookeeper standalone operation • Zookeeper伪集群搭建 • 实战：Zookeeper 集群搭建 1.简介 zookeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件，是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。 ZooKeeper是以Fast Paxos算法为基础的，Paxos 算法存在活锁的问题，即当有多个propose
IP，TCP 和 HTTP
ALDRIDGE1的专栏
04-27 1509
当 app 和服务器进行通信的时候，大多数情况下，都是采用 HTTP 协议。HTTP 最初是为 web 浏览器而定制的，如果在浏览器里输入 http://www.objc.io ，浏览器会通过 HTTP 协议和 www.objc.io 所对应的服务器进行通信。 HTTP是运行在应用层上的应用协议，而不同的层级上都有相应的协议在运行。层级的堆栈关系一般可以这么描述： Application
Linux中的防火墙端口号的操作
ylzz_j的博客
07-30 2262
Linux中的防火墙端口号的操作
Zookeeper ipv6的坑
weixin_33998125的博客
05-25 1507
问题 zookeeper抛这样的错误： [main-SendThread(localhost:2000)] ERROR org.apache.zookeeper.ClientCnxn - Unable to open socket to localhost/0:0:0:0:0:0:0:1:2181 4549 [main-Se...
Kafka单机部署
Chiron技术栈
12-17 248
Kafka部署： 目前Kafka的最新的源码包版本为2.2.1，二进制版本为2.12-2.2.1； 一般好多人都采用二进制部署，因为解压即用，快捷方便，再此也选择二进制安装，官方建议用二进制的2.12版本； Kafka官方下载地址：http://kafka.apache.org/downloads Kafka_2.12下载地址：http://mirror.bit.edu.cn/apache/ka...
zookeeper 大量连接断开重连原因排查
weixin_33738982的博客
06-04 3483
问题现象   最后发现线上的zookeeper的日志zookeeper.out 文件居然有6G，后来设置下日志为滚动输出，参考：   http://blog.csdn.net/hengyunabc/article/details/19006911   但是改了之后，发现一天的日志量就是100多M，滚动日志一天就被冲掉了，这个不科学。   再仔细查看下日志里的内容，发现有很多...
zookeeper原理 使用场景
zjw11763的专栏
06-18 1907
hive.metastore.local true javax.jdo.option.ConnectionURL jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true javax.jdo.option.ConnectionDriverName com.mysql.jdbc.Driver
zk 端口理解
那又怎样？的博客
04-16 3339
所有的三个机器都应该打开端口2181、2888和3888.在该文件内，端口2181由zookeeper客户端使用，用于连接到zookeeper服务器；端口2888由对等zookeeper服务器使用，用于互相通信；而端口3888用于领导选举。您可以选择自己喜欢的任何端口。通常使用相同的端口。 ...
三种连接ZooKeeper的方式
热门推荐
yangsnow_rain_wind的专栏
06-20 17万+
1. 使用客户端命令连接Zookeeper 连接Server 使用命令./zkCli.sh -server 127.0.0.1:2181 连接成功后返回如下信息： Connecting to 127.0.0.1:2181 2018-06-20 00:13:40,884 [myid:] - INFO [main:Environment@100] - Client environment...
Zookeeper-连接和会话的过期清理策略(ExpiryQueue)
pfjia的博客
06-25 3389
背景 简单的会话清理策略 数据结构 更新会话过期时间 清理过期会话 优缺点 分桶策略 具体实现 改进 update poll remove 连接和会话 总结 参考 背景 Zookeeper作为一个服务器,需要管理与客户端的连接和会话,如接受连接,网络IO,和过期清理等,此文章就介绍下Zookeeper的过期策略. 注:目前网络上的资料介绍的都是会话的过期策略,在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值