分布式计算、云计算与大数据
云计算原理与技术-第8章
云计算概述
2006年8月Google首次提出“云计算”这个词汇.
云计算的目标
像用电、水一样来使用IT资源
云计算是什么
对一般用户而言:云计算是指通过网络以按需、易扩展的方式获得所需的服务。即随时随地只要能上网就能使用各种各样的服务,如同钱庄、银行、发电厂等。这种服务可以是IT和软件、互联网相关的,也可以是任意其他的服务。
对专业人员而言:是分布式处理、并行处理和网格计算的发展,或者说是这些计算机科学概念的商业实现。是指基于互联网的超级计算模式–即把原本存储于个人电脑、移动设备等个人设备上的大量信息集中在一起,在强大的服务器端协同工作。它是一种新兴的共享计算资源的方法,能够将巨大的系统连接在一起,以提供各种计算服务。
云计算与分布式计算
- 分布式计算(狭义):将待解决问题分成多个小问题,再分配给许多计算系统处理,最后将处理结果加以综合。
- 特点:把计算任务分派给网络中的多台独立的机器
- 优点
- 稀有资源可以共享
- 通过分布式计算可以在多台计算机上平衡计算负载
- 可以把程序放在最适合运行它的计算机上
- 流行的分布式项目
- SETI@Home:寻找外星文明
- RC-72:密码分析破解,研究和寻找最为安全的密码系统
- Folding@home:研究蛋白质折叠、聚合问题
- United Devices:寻找对抗癌症的有效的药物
- GIMPS:寻找最大的梅森素数(解决较为复杂的数学问题)
云计算关键技术
- 体系结构
- 数据存储
- 计算模型
- 资源调度
- 虚拟化技术
云计算体系结构
云计算核心服务通常可以分为3 个子层:基础设施即服务层(IaaS, infrastructure as a service)、平台即服务层(PaaS, platform as a service)、软件即服务层(SaaS, software as a service)
Google云计算原理
Google云计算关键技术
- Google云计算平台的几个关键技术
- 文件存储,Google File System,GFS
- 并行数据处理MapReduce
- 结构化数据表BigTable
- 分布式锁Chubby