论文
文章平均质量分 79
rocketluoqq
这个作者很懒,什么都没留下…
展开
-
撸完了GFS论文之后的感悟
首先,是一点关于设计分布式文件系统的思路和出发点,即要考虑自己应用的负载情况和技术环境的分析,综合考量之后才能更好的定义设计原型,体现更多的概念完整性和适用性。 另外,设计一门新技术首先就是要观察现有的技术有哪些缺陷需要改进或重造,不然谁会乐意更换一套东西呢?何况是一位不知名的设计师或一个从没有见诸报端的设计团队创造的。 通用的考虑既是性能、可伸缩性、可靠性以及可用性,而我更倾向于将可用性放在...原创 2018-08-23 08:07:21 · 1033 阅读 · 0 评论 -
撸论文系列之——Bigtable
特征:分布式,结构化,海量数据,PB级集群 使用案例:web索引、Google Earth、Google Finance等 优势:适用性广、可扩展、灵活、高性能和高可用 目的:可靠处理PB级数据,分布式部署 劣势:不支持完整关系数据模型 数据模型: 定义——Bigtable是一个稀疏的、分布式的、持久化存储的多维度排序Map。Map的索引是行关键字、列关键字以及时间戳;Map中的每个v...原创 2018-08-29 07:27:01 · 628 阅读 · 0 评论 -
撸论文系列之——MapReduce
初识—— MapReduce是一个编程模型,也是一个处理和生成超大数据集的算法模型的相关实现。 用途—— 可以用下图表示: 好处—— 采用MapReduce架构可以使得没有并行计算和分布式处理系统开发经验的人员有效利用分布式系统的丰富资源。 背景—— 在处理海量原始数据过程中,由于输入的数据量巨大,如果需要在可接受的时间内完成运算,只有将这些计算分布在成百上千的主机上。而分发数据...原创 2018-08-30 07:15:53 · 330 阅读 · 0 评论