大数据介绍

大数据的本质

1、IBM：5个v的特性

• volume（大量的）

• velocity（高速）

• variety（多样）

• value（价值）

• veracity（真实性）

2、举例：
1.商品推荐:
（1）大量的订单如何存储？ （2）大量的订单如何计算？
2.天气预报：
（1）大量的天气数据如何存储？（2）大量的天气数据如何计算？
3、大数据的本质
（1）数据的存储： 分布式的文件系统(GFS: google file system
HDFS: hadoop distributed file system)
（2）数据的计算
4、Google三篇论文
三篇论文带来的不同的技术
GFS --------> HDFS
MapReduce —> MapReduce
BigTable —> HBase

什么是分布式文件系统

1、HDFS根据GFS开发

2、分布式文件系统的基本思想

3、Hadoop三种安装模式
（1）本地模式 : 1台机器
（2）伪分布模式: 1台机器
（3）全分布模式：3台机器

HDFS的体系结构：