大数据概述 ——林子雨老师第一课

大数据概念：数据量大，数据类型繁多，处理速度快，价值密度低 。

大数据的影响： 思维方面：全样而非抽样，效率而非精确，相关而非因果。

关键技术：数据采集，数据存储与管理，数据处理与分析，数据隐私和安全。

两大核心技术：分布式存储：如GFS 和 HDFS

　　　　　　　分布式处理：如MapReduce 和 Spark

计算模式：批处理计算：针对大规模的数据的批量处理                 技术：MapReduce，Spark等

　　　　　流处理：针对流数据的实时计算                                    技术：Storm等

　　　　　图计算：针对大规模图结构数据的处理                         技术： Pregel ，Graph等

　　　　　查询分析计算：大规模数据的存储管理和查询分析       技术：Dremel， Hive等

云计算：实现了通过网络提供的可伸缩的，廉价的分布式计算能力。用户只需要在具备网络接入条件的地方，就可以随时随地获得所需的各种IT资源。

云可分为：公有云，私有云和混合云。

云计算分为:Saas（Software as a Service）软件即服务。 从一个集中的系统部署软件。并通过云购买。

　　　　　Paas（Platform as a  Service ）平台即服务。 类似Iaas ，但它包括操作系统和围绕特定应用的必需服务。

　　　　　Iaas（Infrastructure as a Service） 基础设施即服务。 将基础设施作为服务出租。

　　　　　　

云计算关键技术：虚拟化，分布式存储，分布式计算，多租户。

PS：图片摘自厦门大学林子雨老师在中国大学上的公开课《大数据技术原理与应用》。

 

转载于:https://www.cnblogs.com/wobu/p/8672798.html