简述大数据

简述大数据

本文暂不考虑市场的定义，仅从两个技术角度叙述；

• 大数据的特点
• 大数据的流程

大数据的特点

根据IBM的概括，表现为5V

• Volume
  数据量大。包括采集、存储和计算的量都非常大。大数据的起始计量单位至少是P（1000个T）、E（100万个T）或Z（10亿个T）
• Variety
  **种类和来源多样化。**包括结构化、半结构化和非结构化数据，具体表现为网络日志、音频、视频、图片、地理位置信息等等，多类型的数据对数据的处理能力提出了更高的要求。
• Value
  数据价值密度相对较低。或者说是浪里淘沙却又弥足珍贵。随着互联网以及物联网的广泛应用，信息感知无处不在，信息海量，但价值密度较低，如何结合业务逻辑并通过强大的机器算法来挖掘数据价值，是大数据时代最需要解决的问题。
• Velocity
  数据增长速度快。处理速度也快，时效性要求高。比如搜索引擎要求几分钟前的新闻能够被用户查询到，个性化推荐算法尽可能要求实时完成推荐。这是大数据区别于传统数据挖掘的显著特征。
• Veracity
  数据的准确性和可信赖度。即数据的质量。
  

数据流程

数据流程主要包括数据的产生、数据的采集、数据处理、数据存储和数据的应用。

• **数据产生：**不做过多赘述，主要有用户行为或者系统产生。
• **数据采集：**主要有sqoop、kafka、flume等开源软件
• **数据处理：**离线和准实时的工具主要包括 MapReduce、Hive 、Spark, 流处理的工具主要包含 Storm, Flink, Beam 等
• **数据存储：**HDFS 是分布式文件系统