大数据的6V特性
1. 数据体量大。中小型公司的数据量在TB级别,大型公司的数据量是PB级别(京东每天的日志量达到2.5PB-3PB之间)
2. 数据的种类和来源多样化,致使处理手段越来越多样化
3. 数据增长越来越快。互联网的出现及发展使得信息传播速度越来越快
4. 数据的价值密度越来越低。价值密度是所需要的信息/信息的总量。单类数据的增长速度小于信息总量的增长速度
5. 数据的质量/真实性。获取到的信息需要进行真伪性的判断
6. 数据的连通性。各个模块之间的联系
7. 其他特征:动态性、可视化、合法性
hadoop简介
1. Hadoop是Yahoo!开发的后来贡献给了Apache的一套开源的、可靠的、可扩展的(可伸缩的)用于进行分布式计算框架
2. Hadoop之父:Doug Cutting(道格.卡丁)
3. Hadoop的版本管理非常混乱
hadoop上具有的模块
1. Hadoop Common:基本模块,支撑其他模块运行
2. Hadoop Distributed File System (HDFS™):分布式存储
3. Hadoop YARN:任务调度和集群资源管理
4. Hadoop MapReduce:分布式计算
5. Hadoop Ozone:对象存储
hadoop的版本
1. Hadoop1.0:包含Common、HDFS、MapReduce
2. Hadoop2.0:包含Common、HDFS、MapReduce和YARN。从Hadoop2.7包含了Ozone。从Hadoop2.9版本开始,包含了Submarine(机器学习深度学习相关的东西 )。Hadoop1.0和Hadoop2.0不兼容
3. Hadoop3.0:包含Common、HDFS、MapReduce和YARN。从Hadoop3.1包含了Ozone,在Hadoop3.1最新版本中包含了Submarine