大数据
文章平均质量分 74
沈鸿斌
爱生活,爱Coding
展开
-
大数据学习之BigData常用算法和数据结构
1.Bloom Filter由一个很长的二进制向量和一系列hash函数组成优点:可以减少IO操作,省空间缺点:不支持删除,有误判如果要支持删除操作: 改成计数布隆过滤器2.SkipList(跳表)核心思路: 由多层组成,每层都是一个有序链表,最底层包含所有元素,元素数逐层递减。每个节点包含两个指针,一个->,一个向下。并行编程情况下可以用原创 2015-08-10 14:18:57 · 6800 阅读 · 2 评论 -
大数据存储之分布式文件系统(一)
1.Google文件系统(GFS)使用一堆廉价的商用计算机支撑大规模数据处理。GFSClient: 应用程序的访问接口Master(主控服务器):管理节点,在逻辑上只有一个(还有一台“影子服务器“,在主控服务器失效时提供元数据,但并不是完整的热备服务器),保存系统的元数据,负责整个文件系统的管理。Chunk Server(数据库服务器):负责具体的存原创 2015-08-10 17:35:06 · 21398 阅读 · 6 评论