云计算
文章平均质量分 93
帮助你了解云计算的相关技术与知识
编程小吉
莫问前程几许,只顾风雨兼程,既然选择了,那就努力做下去,加油 !
展开
-
Google云计算之PowerDrill
PowerDrill1.产生背景2.设计目标3.组成部分4.数据结构5.性能优化6.性能分析PowerDrill是一种内存大数据分析系统1.产生背景用户对于实时的交互式数据查询和分析一直都有很高的要求,尤其是在一些数据探索的场景,完成一项任务之前需要先向系统发出请求,根据得到的结果来修正查询内容,并再次向系统发出新的查询,如此反复的过程可能要进行很多次。很显然MapReduce无法实现这种程度的交互式查询。Dremel 可以在一定程度上实现实时的交互式查询,但是随着数据规模的增大和Google原创 2021-04-22 22:26:28 · 2294 阅读 · 0 评论 -
Google云计算之Dremel
Dremel1.基本概述2.产生背景3.支持的应用4.数据模型5.嵌套式的列存储6.查询语言与执行7.性能分析1.基本概述Dremel是一款海量数据交互式分析工具Dremel和MapReduce并不是互相替代,而是相互补充的技术。在不同的应用场景下各有其用武之地。Drill的设计目标就是复制一个开源的Dremel,但是从目前来看,该项目无论是进展还是影响力都达不到Hadoop的高度。2.产生背景虽然 MapReduce 在处理数据时的确有其便捷性。但是当利用 MapReduce 从海量的数原创 2021-04-22 22:19:35 · 3503 阅读 · 1 评论 -
Google云计算之Dapper
Dapper1.系统设计要求2.系统设计目标3.基本概念4.信息汇总5.关键技术6.常用工具7.使用经验Dapper是Google开发的一种分布式监控系统1.系统设计要求广泛可部署性设计出的监控系统应当能够对尽可能多的Google服务进行监控不间断的监控Google的服务是全天候的,如果不能对Google 的后台同样进行全天候的监控很可能会错过某些无法再现的关键性故障2.系统设计目标低开销这个是广泛可部署性的必然要求。监控系统的开销越低,对于原系统的影响就越小,系统的开原创 2021-04-22 22:07:16 · 2461 阅读 · 2 评论 -
Google云计算之Megastore
Megastore1.基础概述2.数据分区复制3.数据模型4.事务及并发控制5.基本架构6.核心技术7.性能防控措施1.基础概述什么是Megastore?Megastore是Google设计的一种分布式存储系统设计目标Megastore的设计目标很明确,那就是设计一种介于传统的关系型数据库和NoSQL之间的存储技术,尽可能达到高可用性和高可扩展性的统一。设计方案针对可用性的要求,实现了一个同步的、容错的、适合远距离传输的复制机 制。在方案的选择和实现过程中Megastore团队研原创 2021-04-22 21:49:18 · 3682 阅读 · 0 评论 -
Google云计算之Bigtable
Bigtable1.什么是Bigtable?2.它的设计动机3.它的设计目标4.它的数据模型5.它的系统架构6.什么是主服务器?7.什么是子服务器?8.如何提高性能?1.什么是Bigtable?Bigtable是Google开发的基于GFS和Chubby的分布式存储系统Bigtable在很多方面和数据库类似,但它并不是真正意义上的数据库2.它的设计动机需要存储的数据种类繁多Google目前向公众开放的服务很多,需要处理的数据类型也非常多。包括URL、网页内容、用户的个性化设置在内的数据都原创 2021-04-04 11:12:41 · 2378 阅读 · 0 评论 -
Google云计算之Chubby
Chubby1.什么是Chubby?2.Chubby中的Paxos算法3.Chubby的系统设计4.Chubby的文件系统5.Chubby的通信协议6.Chubby的相关特点1.什么是Chubby?Chubby是Google设计的提供粗粒度锁服务的一个文件系统,它基于松耦合分布式系统,解决了分布的一致性问题。通过使用Chubby的锁服务,用户可以确保数据操作过程中的一致性。Chubby还可以作为一个稳 定的存储系统存储包括元数据在内的小数据。2.Chubby中的Paxos算法Paxos算法原创 2021-04-04 11:07:11 · 2612 阅读 · 0 评论 -
Google云计算之MapReduce
MapReduce1.什么是MapReduce?2.它的编程模型3.它的实现机制4.它的容错机制1.什么是MapReduce?MapReduce 是Google提出的一个软件架构,是一种处理海量数据的并行编程模式,用于大规模数据集(通常大于1TB)的并行运算。MapReduce 封装了并行处理、容错处理、本地化计算、负载均衡等 细节,还提供了一个简单而强大的接口。通过这个接口,可以把大尺度的计算自动地并发和分布执行,使编程变得非常容易。MapReduce 也具有较好的通用性,大量不同的问题都可以简原创 2021-04-04 11:02:15 · 2154 阅读 · 0 评论 -
Google云计算之GFS
GFS1.什么是GFS?2.有哪些特点3.它的容错机制4.它的相关技术1.什么是GFS?Google文件系统(Google File System,GFS)是一个大型的分布式文件系统。它为 Google云计算提供海量存储,并且与Chubby、MapReduce及Bigtable等技术结合十分紧 密,处于所有核心技术的底层。Google GFS 不是一个开源的系统,我们仅能从Google公布的技术 文档来获得相关知识。Google GFS 的新颖之处在于它采用廉价的商用机器构建分布式文件系原创 2021-04-04 10:59:17 · 2397 阅读 · 0 评论 -
什么是云计算?
什么是云计算?1.云计算概述2.大数据特征3.云计算特征4.云计算分类5.云计算实现机制1.云计算概述云计算是并行计算(Parallel Computing)、分布式计算(Distributed Computing)和 网格计算(Grid Computing)的发展,或者说是这些计算科学概念的商业实现。云计算 是虚拟化(Virtualization)、效用计算(Utility Computing)、将基础设施作为服务 IaaS(Infrastructure as a Service)、将平台作为服务原创 2021-04-04 10:53:23 · 1564 阅读 · 0 评论