大数据开发—求职学习 spark first

大数据开发—求职学习 spark first

问题1：为什么spark 比MapReduce速度快？

spark是内存运算框架，数据在内存中进行计算。通过spark来对数据进行迭代时，不用将数据保存到磁盘中，无需进行IO操作，相对于MapReduce可以节约大量的时间。
MapReduce则需要将产生的所有的中间结果保存到磁盘中，在每次进行执行运算时都要从磁盘中读取数据，在执行完成后得到的结果还要保存到磁盘中。如果进行迭代计算则需要执行大量的IO操作。

问题2：spark可以解决的问题？

Spark可以用于批处理、交互式查询（Spark SQL）、实时流处理（Spark Streaming）、机器学习（Spark MLlib）和图计算（GraphX）。

问题3：spark不同的开发模式

Spark on Mesos模式：，Spark这个框架在进行设计开发的时候，就充分考虑到了对Mesos的充分支持。Spark运行在Mesos上，要比运行在YARN上更加灵活、自然
Spark on YARN模式 Spark可运行于YARN之上，与Hadoop进行统一部署，即“Spark on YARN”资源管理和调度依赖YARN，分布式存储则依赖HDFS。
还有spark on standalone开发模式

问题4：

问题5：

问题6：

问题7：

问题8：