云计算与大数据第一周要点

一、什么是云计算？

云计算 （cloud computing）是基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。云是网络、互联网的一种比喻说法。过去在图中往往用云来表示电信网，后来也用来表示互联网和底层基础设施的抽象。因此，云计算甚至可以让你体验每秒10万亿次的运算能力，拥有这么强大的计算能力可以模拟核爆炸、预测气候变化和市场发展趋势。用户通过电脑、笔记本、手机等方式接入数据中心，按自己的需求进行运算。
关键技术：分布式计算、虚拟化、多用户、分布式存储
SaaS software as a service 软件即服务
PaaS platform as a service 平台即服务
IaaS infrastructure as a service 基础设施即服务

二、什么是虚拟化？

虚拟化，是指通过虚拟化技术将一台计算机虚拟为多台逻辑计算机。在一台计算机上同时运行多个逻辑计算机，每个逻辑计算机可运行不同的操作系统，并且应用程序都可以在相互独立的空间内运行而互不影响，从而显著提高计算机的工作效率。
虚拟化使用软件的方法重新定义划分IT资源，可以实现IT资源的动态分配、灵活调度、跨域共享，提高IT资源利用率，使IT资源能够真正成为社会基础设施，服务于各行各业中灵活多变的应用需求。

三、什么是大数据？

大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

发展的三个阶段：
第一阶段 上世纪90年代至本世纪初 数据挖掘理论 数据库技术 商业智能工具 知识管理技术
第二阶段 本世纪前十年 并行云计算与分布式系统
第三阶段 2010年以后 数据确定决策

属性：
大量化、快速化、多样化、价值化等

大数据的影响
在思维方式方面，大数据完全颠覆了传统的思维方式：
全样而非抽样
效率而非精确
相关而非因果

在社会发展方面，大数据决策逐渐成为一种新的决策方式，大数据应用有力促进了信息技术与各行业的深度融合，大数据开发大大推动了新技术和新应用的不断涌现

在就业市场方面，大数据的兴起使得数据科学家成为热门职业

在人才培养方面，大数据的兴起，将在很大程度上改变中国高校信息技术相关专业的现有教学和科研体制

大数据应用

大数据关键技术
分布式存储：
GFS\HDFS(谷歌文件系统、hadoop文件系统)
BigTable\HBase(数据库)
NoSQL（键值、列族、图形、文档数据库）
NewSQL（如：SQL Azure）

分布式处理：MapReduce

大数据计算模式
批处理计算 针对大规模数据的批量处理 MapReduce、Spark等
流计算 针对流数据的实时计算 Storm、S4、Flume、Streams、Puma、DStream、Super Mario、银河流数据处理平台等
图计算 针对大规模图结构数据的处理 Pregel、GraphX、Giraph、PowerGraph、Hama、GoldenOrb等
查询分析计算 大规模数据的存储管理和查询分析 Dremel、Hive、Cassandra、Impala等

四、Hadoop

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。

用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。
Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。

Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。
（map：映射 reduce：化解 hdfs：hadoop分布式文件系统）

五、大数据与云计算、物联网关系