大数据简要概括

大数据复习提纲

一、题型

1 单选题(20题，40分)；2 多选题(10题，20分)；3 简答题(4题，40分)

二、复习重点

第1章 理解大数据的基本概念；掌握大数据的主要持点；掌握大数据的关键技术和主要应用。

基本概念：大数据(big data)，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。

主要特点：“4V”数据量大(volume)、数据类型繁多(variety)、处理速度快(velocity)、价值密度低(value)。

大数据的关键技术：数据采集与预处理、数据存储和管理、数据处理与分析、数据安全和隐私保护。

1. 掌握Hadoop的发展历史，如创始人，发展历程等：掌挥Hadoop的几种运行模式，以及应用框架等。

Hadoop发展史：

Hadoop最初是由Apache Lucene项目的创始人Doug Cutting开发的文本搜索库。Hadoop源自始于2002年的Apache Nutch项目——一个开源的网络搜索引擎并且也是Lucene项目的一部分；

在2004年，Nutch项目也模仿GFS开发了自己的分布式文件系统NDFS（Nutch Distributed File System），也就是HDFS的前身；

2004年，谷歌公司又发表了另一篇具有深远影响的论文，阐述了MapReduce分布式编程思想；

2005年，Nutch开源实现了谷歌的MapReduce；

到了2006年2月，Nutch中的NDFS和MapReduce开始独立出来，成为Lucene项目的一个子项目，称为Hadoop，同时，Doug Cutting加盟雅虎；

 2008年1月，Hadoop正式成为Apache顶级项目，Hadoop也逐渐开始被雅虎之外的其他公司使用；

 2008年4月，Hadoop打破世界纪录，成为最快排序1TB数据的系统，它采用一个由910个节点构成的集群进行运算，排序时间只用了209秒；

在2009年5月，Hadoop更是把1TB数据排序时间缩短到62秒。Hadoop从此名声大震，迅速发展成为大数据时代最具影响力的开源分布式开发平台，并成为事实上的大数据处理标准；

Hadoop的几种运行模式：Hadoop的运行模式分为3种：本地运行模式、伪分布运行模式、集群运行模式。

  Hadoop包括三种安装模式：

l单机模式：只在一台机器上运行，存储是采用本地文件系统，没有采用分布式文件系统HDFS；

l伪分布式模式：存储采用分布式文件系统HDFS，但是，HDFS的名称节点和数据节点都在同一台机器上；

l分布式模式：存储采用分布式文件系统HDFS，而且，HDFS的名称节点和数据节点位于不同机器上。

Hadoop应用框架：

组件	功能
HDFS	分布式文件系统
MapReduce	分布式并行编程模型
YARN	资源管理和调度器
Tez	运行在YARN之上的下一代Hadoop查询处理框架
Hive	Hadoop上的数据仓库
HBase