大数据生态圈
存储
主要包括hdfs、Kafka
计算
主要包括MapReduce、Spark、Flink
查询
主要为Nosql和Olap,Nosql
主要包括Hbase、 Cassandra 等:
- 其中olap包括kyline、impla
- 其中Nosql主要解决随即查询
- Olap技术主要解决关联查询
spark技术简介
Spark最初是由美国加州大学伯克利分校的AMP实验室于2009年开发,是基于内存计算的大数据并行计算架构,可用于构建大型的、低延迟的数据分析应用程序。Spark在诞生之初属于研究型项目,其诸多核心理念均源自学术研究论文,2013年,Spark加入Apache孵化器项目后,开始获得迅猛的发展,如今已成为Apache软件基金会最重要的三大分布式计算系统开源项目之一(即Hadoop、Spark、Storm)。
Spark具有如下几个只要特点。
- 运行速度快:Spark使用先进的有向无环图(DAG)执行引擎,以支持循环数据流与内存计算,基于内存的执行速度可比Hadoop MapReduce快上百倍,基于磁盘的执行速度也能快十倍。
- 容易使用:Spark支持使用Scala、Java、Python和R语言进行编程,简洁的API设计有助于用户轻松构建并行程序,并且可以通过Spark Shell进行交互式编程。
- 通用性:Spark提供了完整而强大的技术栈,包括SQL查询、流式计算、机器学习和图算法组件,这些组件可以无缝整合到同一个应用中,足以应对复杂的计算。
- 运行模式多样:Spark可运行于独立的集群模式中,或者运行于Hadoop中,也可运行于Amazon EC2等云环境中,并且可以访问HDFS、Cassandra、HBase、Hive等多种数据源。