大数据
大数据,指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化。大数据不仅仅是数据的“大量化”,而是包含“快速化”、“多样化”和“价值化”等多重属性。能力的海量、高增长率和多样化的信息资产。
大数据是由结构化和非结构化数据组成的。10%的机构化数据,存储在数据库中;90%的非结构化数据,它们与人类信息密切相关。
hadoop生态
其标志性的组件为:Hadoop HDFS、Hadoop MapReduce, HBase、Hive
Spark简介
Spark最初由美国加州大学伯克利分校的AMP实验室于2009年开发,是基于内存计算的大数据并行计算框架。用于构建大型的、低延迟的、数据分析应用程序。
Spark的特点
- 运行速度快:使用DAG执行引擎以支持循环数据流与内存计算。
- 容易使用:支持使用Scala、java、Python和R语言进行编程,可以通过Spark Shell进行交互式编程。
- 通用性:Spark提供了完整而强大的技术栈,包括SQL查询、流式计算、机器学习和图算法组件。
- 运行模式多样:可