大数据技术原理与应用 第一章 大数据概述

最近在学习厦门大学林子雨老师开讲的一门课程 —— 大数据技术原理与应用，决定开始做一下学习笔记。

参考材料：http://dblab.xmu.edu.cn/post/bigdata-online-course/#lesson0

1. 大数据4V特征

大数据具有数据量大(Volume)、数据类型繁多(Variety)、处理速度快(Velocity)、价值密度低(Value)等特点，统称“4V”。

2. 大数据的两大核心技术

分布式存储和分布式处理

3. 大数据计算模式

大数据计算模式	解决问题	代表产品
批处理计算	针对大规模数据的批量处理	MapReduce、Spark等
流计算	针对流数据的实时计算	Storm、S4、Flume、Streams、Puma、DStream、Super Mario、银河流数据处理平台等
图计算	针对大规模图结构数据的处理	Pregel、GraphX、Giraph、PowerGraph、Hama、GoldenOrb等
查询分析计算	大规模数据的存储管理和查询分析	Dremel、Hive、Cassandra、Impala等

对于批处理计算，它没有办法提供秒级服务，也就是它不能用于实时计算。

4. 云计算

5. 大数据与云计算、物联网的关系