大数据

大数据简介

大数据关键技术

大数据与云计算

云计算特点：虚拟化、多租户
云计算解决了分布式存储

大数据与物联网

应用例子：
掌上公交APP

三者关系

Hadoop

HDFS:分布式文件系统
YARN：调度
MapReduce：离线计算。基于磁盘
Spark：内存计算，基于内存。比MapReduce效率高
Hive：属于Hadoop的数据仓库，批处理形式，用于企业的数据分析，将大量企业数据存储在数据仓库中，建立不同地维度—OLAP分析

pig：一种基于Hadoop的大规模数据分析平台，提供类似SQL的查询语言Pig Latin ，是一种流式处理，轻量级的，可以嵌入在其他语句中。

Linux

Hadoop的部署

先从NameNode查找数据地址（即存储在哪个DataNode里面了）
例：在NameNode查找数据地址，发现数据被分割成多个段，分别在DataNode1,2，3分别上这几个里面去找。