Hive:转换成MapReduce作业;
Shark:转换成spark作业;
Hive中SQL查询的MapReduce作业转化过程
Spark三种部署方式:
Standalone;Spark on Mesos(官方推荐,更好支持);Spark on YARN;
Hadoop+Storm:
Spark Straming无法实现毫秒级流计算响应;(需要Storm)
不同的计算框架统一运行在YARN中,可以带来如下好处:
计算资源按需伸缩
不用负载应用混搭,集群利用率高
共享底层存储,避免数据跨集群迁移