大数据hadoop和spark有什么区别？

其实这是两种框架的区别，Hadoop框架比较侧重离线大批量计算，而spark框架则侧重于内存和实时计算。

在这些基础上，衍生出了一些常用的附属组件，比如Hadoop生态下的HBASE、hive、HDFS等，HDFS可用于数据存储，MR可用于分布式计算框架。同样，在spark的基础上也衍生出了很多组件，比如spark streaming、spark SQL、mllib等。其中spark score完全可以代替MR，spark中不仅可以有reduce操作，同时也提供了其他诸如filter sortby等操作，要比MR方便很多，同时，spark SQL可以直接把hive上的文件映射成一张表，来进行表操作。

总之一句话，前者是以空间换时间，后者是以时间换空间，即为两种模式的差别。

首先，Hadoop和Apache Spark两者都是大数据框架，但是各自存在的目的不尽相同。Hadoop实质上更多是一个分布式数据基础设施: 它将巨大的数据集分派到一个由普通计算机组成的集群中的多个节点进行存储，意味着您不需要购买和维护昂贵的服务器硬件。

同时，Hadoop还会索引和跟踪这些数据，让大数据处理和分析效率达到前所未有的高度。Spark，则是那么一个专门用来对那些分布式存储的大数据进行处理的工具，