01 hadoop入门简介

大数据的6V特性

1. 数据体量大。中小型公司的数据量在TB级别，大型公司的数据量是PB级别(京东每天的日志量达到2.5PB-3PB之间) 
2. 数据的种类和来源多样化，致使处理手段越来越多样化 
3. 数据增长越来越快。互联网的出现及发展使得信息传播速度越来越快 
4. 数据的价值密度越来越低。价值密度是所需要的信息/信息的总量。单类数据的增长速度小于信息总量的增长速度 
5. 数据的质量/真实性。获取到的信息需要进行真伪性的判断 
6. 数据的连通性。各个模块之间的联系 
7. 其他特征：动态性、可视化、合法性 

hadoop简介

1. Hadoop是Yahoo!开发的后来贡献给了Apache的一套开源的、可靠的、可扩展的(可伸缩的)用于进行分布式计算框架 
2. Hadoop之父：Doug Cutting(道格.卡丁) 
3. Hadoop的版本管理非常混乱 

hadoop上具有的模块

1. Hadoop Common：基本模块，支撑其他模块运行 
2. Hadoop Distributed File System (HDFS™)：分布式存储 
3. Hadoop YARN：任务调度和集群资源管理 
4. Hadoop MapReduce：分布式计算 
5. Hadoop Ozone：对象存储

hadoop的版本

1. Hadoop1.0：包含Common、HDFS、MapReduce 
2. Hadoop2.0：包含Common、HDFS、MapReduce和YARN。从Hadoop2.7包含了Ozone。从Hadoop2.9版本开始，包含了Submarine（机器学习深度学习相关的东西 ）。Hadoop1.0和Hadoop2.0不兼容 
3. Hadoop3.0：包含Common、HDFS、MapReduce和YARN。从Hadoop3.1包含了Ozone，在Hadoop3.1最新版本中包含了Submarine