【大数据应用开发】大数据的概念

一. 大数据的概念

维基百科定义：
大数据是指利用常用软件工具捕获，管理和处理数据所耗时间超过可容忍时间的数据集。

二. 大数据4V特征

• Volume：体量巨大
• Velocity：处理速度快
• Variety：类型繁多（结构化，半结构化，非结构化）
• Value：价值密度低

三. 大数据主流技术

• 数据采集预处理

1. flume可以进行流式日志数据的收集
2. sqoop可以交互关系型数据库，进行导入导出数据
3. 使用爬虫技术，可以在网上爬取海量网页数据

• 数据存储与管理
  大数据利用分布式文件系统HDFS、HBase、Hive，实现对结构化、半结构化和非结构化数据的存储和管理。
• 数据处理与分析
  利用分布式并行编程模型和计算框架，结合机器学习和数据挖掘算法，实现对海量数据的处理和分析。

四. 大数据应用

五. 场景化解决方案：

1. 离线批处理

1.1 概念：

离线批处理，是指对海量历史数据进处理和分析，生成结果数据，供下一步数据应用使用的过程。
离线批