最近在坐分布式的项目,加之OS学习之路屡屡受挫,我对云计算的兴趣愈发大来。本文旨在以我的视角介绍云计算的概念及其发展历史。
- 谷歌三驾马车:谷歌在03-06年内分批次在操作系统会议上发布了三篇论文,阐述了将大量廉价机器来搭建健壮、高效的大规模数据存储和分析系统的方法,构成了当今云计算的理论基础。
- MapReduce:分布式计算
- GFS:分布式文件存储
- BigTable:分布式结构化数据存储
- Kafka:由linkedin发起,目前在Apache软件基金会名下的开源流处理平台,由Scala和Java编写。是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据(网页浏览,搜索和其他用户的行动)。消息队列可以将信息持久化,这样两边任意系统故障,已有信息都不会丢失,同时还可以进行缓冲削峰处理等。参考文章