大数据原理-关键技术

大数据的由来

关键核心技术

计算模式

大数据的由来：
4V大数据量、繁多的数据类型、处理数据的速度快、价值密度低
使得出现了大数据时代

关键核心技术：
分布式存储（HDFS、HBase、NoSql、NewSql）
分布式处理（MapReduce）

计算模式：
批处理：大规模数据的批量处理（MapReduce、Spark等等）
流计算：数据流实时计算（Strom、Flume等等）
图计算：大规模图结构数据的计算（Pregel、GraphX等等）
查询分析计算：大规模数据存储管理查询分析（Dremel、Hive等等）

云计算：
网络提供的分布式计算
基础设施：IaaS服务
平台：PaaS服务
应用：SaaS软件即服务
关键技术：虚拟化、分布式计算、分布式存储、多租户