大数据的概念
大数据(big data)是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理、和处理的数据集合,
是需要采用新处理模式才能获取很多智能的、深入的、有价值的信息,
以期得到更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资源。
大数据具有5V特点:
Volume:大量;Velocity:告诉;Variety:多样;Value:价值和Veracity:真实性。
大数据是以容量大、类型多、存取速度快、应用价值高为主要特征的数据集合。
大数据是具有体量大、结构多样、时效性请等特征的数据,处理大数据需要采用新型计算结构和智能算法等新技术。
大数据从数据源经过分析挖掘到最终获得价值一般需要经过5个主要环节:包括数据准备、数据存储与管理、计算处理、数据分析和知识展现。
大数据所涉及到的数据模型、处理模型、计算理论,与之相关的分布计算、分布存储平台技术、数据清洗和挖掘技术,流式计算、增量处理技术,数据控制等方面的研究和开发结果丰硕
大数据技术框架:
大数据关键技术
1.大数据存储技术:
大数据存储技术首先需要解决的是数据海量化和快速增长需求。
存储的硬