分布式存储
文章平均质量分 79
caoli98033
这个作者很懒,什么都没留下…
展开
-
利用zookeeper创建共享锁
背景: 多个设备节点上有相同的程序,可以提供相同的服务,但是如果多个设备同时提供服务,有可能会造成数据不一致性。 一般情况下,大家会利用zookeeper创建分布式锁,也就是多个设备节点都在zookeeper上创建相同名称的临时节点,哪个设备节点创建成功了,那么这个设备节点就获取到了服务权限,可以提供服务,其他的设备节点就会创建失败,不可以提供服务。 服务完成之后,再删除zookeeper上原创 2017-02-28 23:40:00 · 852 阅读 · 0 评论 -
Linux设备网络问题分析
背景: 在我们自己开发的分布式存储集群中,是一个有中心的存储集群,这个中心节点有可能成为系统的性能瓶颈,所以一般情况下,中心节点的机器的配置都是很好的,一般是24核cpu,32GB内存,万兆网卡。。。 但是有次做测试时,中心节点的机器配置降低了,带来的现象是网络通讯很差。 问题分析: 用ifconfig命令查看网卡状态: enp2s0: flags=4163 mtu 1500原创 2017-03-04 17:13:11 · 1904 阅读 · 0 评论 -
遍历hbase中表的方法
背景: 在我们自己的产品中,有利用hbase存储大量的数据,其中的一个场景就是:多个线程不停的向这个数据库表写数据,然后还有一个线程不停的从这个数据库表获取数据,然后再交给多线程处理。 问题1: 从数据库表中取出数据时,有时候会出现意想不到的结果,例如本来利用pagefilter只需要2000个数据,但是有时候返回了40000多个,导致获取数据的时间很长,而且内存占用过多。 解决方原创 2017-03-22 09:10:14 · 4519 阅读 · 0 评论