云计算与大数据第一章总结

一、什么是云计算？
云计算是指计算能力和存储能力向互联网端的迁移和抽象：迁移是指计算和存储都不在本机甚至本地服务器而迁移到了互联网远端的服务器集群上，抽象是指最终用户无需关心真正的存储和计算发生在何处。
通俗来说，云就是指计算能力没有边界，它的计算中心是有一堆服务器，像云一样不易记数。

二、云计算的关键技术
1、数据采集与预处理
利用ETL（Extraction-Transformation-Loading)工具将分布的、异构数据源中的数据，如关系数据、平面数据文件等，抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础；也可以利用日志采集工具，把实时采集的数据作为比如计算系统的输入，继续实施处理分析
2、数据存储和管理
利用分布式文件系统、数据仓库、关系数据库、NoSQL数据库、云数据库等，实现对结构化、半结构化和非结构化海量数据的存储和管理
3、数据处理与分析
利用分布式并行编程模型和计算框架，结合机器学习和数据挖掘算法，实现对海量数据 的处理和分析
4、数据可视化
对分析结果进行可视化呈现，帮助人们更好地理解数据、分析数据
5、数据安全和隐私保护
在从大数据中挖掘潜在的巨大商业价值和学术价值的同时，构建隐私数据保护体系和 数据安全体系，有效保护个人隐私和数据安全

三、云计算的主要特点
(1) 超大规模。“云”具有相当的规模，企业私有云一般拥有数百上千台服务器，能给用户前所未有的计算能力。(2) 虚拟化。云计算支持用户在任意位置、使用各种终端获取应用服务。(3) 高可靠性。“云”使用了数据多副本容错、计算节点同构可互换等措施来保障服务的高可靠性，使用云计算比使用本地计算机可靠。(4) 通用性。云计算不针对特定的应用，同一个“云”可以同时支撑不同的应用运行。(5) 高可扩展性。“云”的规模可以动态伸缩，满足应用和用户规模增长的需要。(6) 按需服务。“云”是一个庞大的资源池，你按需购买；云可以象自来水，电，煤气那样计费。(7) 极其廉价。由于“云”的特殊容错措施可以采用极其廉价的节点来构成云，“云”的自动化集中式管理使大量企业无需负担日益高昂的数据中心管理成本，“云”的通用性使资源的利用率较之传统系统大幅提升，因此用户可以充分享受“云”的低成本优势，经常只要花费几百美元、几天时间就能完成以前需要数万美元、数月时间才能完成的任务。