大数据及Hadoop的理解

目录

一、大数据的特点：

二、从Hadoop框架讨论大数据生态

         1、概念

2、优点

3、组成

HDFS架构概述：

YARN架构简述：

MapReduce架构简述：

三、大数据技术生态体系

四、推荐系统框架图

---

一、大数据的特点：

1、大量（Volume）大数据的特征首先就体现为“大”，从先Map3时代，一个小小的MB级别的Map3就可以满足很多人的需求，然而随着时间的推移，存储单位从过去的GB到TB，乃至现在的PB、EB级别

2、高速（Velocity）大数据的产生非常迅速，主要通过互联网传输。大数据对处理速度有非常严格的要求，服务器中大量的资源都用于处理和计算数据，很多平台都需要做到实时分析。数据无时无刻不在产生，谁的速度更快，谁就有优势。

3、多样（Variety）    数据来源多如手机，电脑，可穿戴设备，智能家居。数据格式多例如网络日志、图片、音频、视频、地理位置信息等

4、低价值密度（Value）这也是大数据的核心特征。现实世界所产生的数据中，有价值的数据所占比例很小。大数据最大的价值在于通过从大量不相关的各种类型的数据中，挖掘出对未来趋势与模式预测分析有价值的数据，并通过机器学习方法、人工智能方法或数据挖掘方法深度分析，发现新规律和新知识，并运用于农业、金融、医疗等各个领域，从而最终达到改善社会治理、提高生产效率、推进科学研究的效果。