![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
分布式存储
文章平均质量分 66
百科全书学派
热衷技术,喜欢交流, 立志于IT领域的百科全书,分布式存储技术爱好者。
业余爱好是自然语言处理和机器学习。
微博 http://weibo.com/u/2708980410?refer_flag=1005055010_&is_all=1
展开
-
开源分布式文件系统的对比
工作需要,整理了一份分布式文件系统对比的材料。网上看到过不少类似的材料,大家视角不同,差别不小,这里只是提供大家参考,不对的地方欢迎指导。 GlusterFS特点1:去中心化的分布式元数据架构采用DHT的方式将每个file按照filename映射到节点上,通过Davies Meyer hash函数对filename取hash值如果file被r原创 2013-11-04 09:14:39 · 9453 阅读 · 0 评论 -
系统设计的角度看GlusterFS&&ceph
GlusterFS和ceph是开源领域很火的两个分布式文件系统。技术文章也有不少。这里只谈下个人的一些看法,大家讨论比较多就不提了。GlusterFS的几大特点:1.所见即所得,一个文件究竟长什么样,完全取决于client对于posix文件api的解释。副本怎么写,文件从哪里读,等等,都是client决策的。2.keep is simple and stupid。每个posix的api原创 2016-03-23 15:07:46 · 4883 阅读 · 0 评论 -
raft算法的核心思想
raft算法跟paxos,zab(zookeeper atomic broadcast)算法类似,设计一个一致性算法,在一个分布式系统中实现一个分布式的、高可用的、一致性的存储系统。raft的特点是设计简单,易于程序员的理解和实现,并不是那么抽象。raft算法的核心思想和关键技术点:1.保证系统中只有一个leader,每次leader选举都是必须具有最新的termID(或者epoch)原创 2016-05-13 12:20:49 · 966 阅读 · 0 评论 -
为什么redis中会采用skiplist
redis既然是单线程,采用skiplist作为索引,相对于传统的红黑树而言,查询速度相仿,优势在哪里关键在于redis是一个经常需要做插入删除操作的kv容器。redis有超时剔除机制,需要对key维护一个时间维度的索引或者队列,剔除超时的记录。剔除同时就需要对索引进程插入删除操作skiplist插入删除worst case的时间复杂度会比红黑树小很多原创 2016-10-13 11:01:32 · 1001 阅读 · 0 评论 -
谷歌技术栈(old)和业界的对比
假期第一天下大雨没出门,顺便写下技术博客。 上面的是google的技术栈,可以自行google搜索。已经比较老了,比如F1、TensorFlow还没有加进来。 自底向上的分析吧分布式锁和统一配置管理开源社区的从最初的zk到etcd,已经有很多选择,有的分布式系统中还会自己造个轮子(例如ceph的ceph monitor)。zk有自己的zab协议,原创 2016-10-01 13:07:14 · 1910 阅读 · 0 评论 -
OLAP最新技术前瞻
最近一直忙机器学习,同时兼职一个开源的nosql项目,一直没更新博客。OLAP最近的发展也如火如荼,百度开源的palo,tidb退出的tispark,前段易观的olap比赛。先列一下几个技术方向,有空后面具体探讨: 1. CBO designed for distributed storage 2. code gen 3. vector acc原创 2017-12-15 11:18:47 · 754 阅读 · 0 评论 -
分布式文件系统的副本分布策略
分布式存储系统中,副本在节点间的分布策略,对于快速定位数据的位置,以及整个系统的网络流量、节点间io负载均衡,非常重要。副本分布策略,大致分为三种:1.基于统计和监控的副本分布策略;2.基于一致性hash的副本分布策略;3.基于伪随机算法的副本分布策略;原创 2016-04-01 15:34:27 · 4548 阅读 · 0 评论 -
谈一谈索引技术
熟悉关系数据库的人应该对索引不陌生。单列索引,多列索引,B树索引,位图索引,事务索引,三星索引等等。读研时期导师就说,索引可以作为一个研究课题搞一辈子。撇开最新的理论创新,即使了解过一些的研究成功,坑需要从一些大部头的著作看起。每年VLDB,sigmod上的关于索引的文章也很多。本文不打算过于深入,针对常见的一些索引技术做一些总结,算是入门知识吧。最常见的两种索引数据结构是B+树和LSM-原创 2017-12-19 15:41:44 · 1617 阅读 · 0 评论