本文介绍了Spark作为大数据统一分析计算引擎的优势，包括速度、易用性、扩展性和运行环境。详细阐述了Spark的安装部署步骤，包括单机版和集群模式。在集群模式下，分别讲解了Standalone和Spark on Yarn的部署配置，涉及环境变量设置、文件复制、守护进程启动等关键操作，并提供了问题排查提示。
1.Spark 介绍
【1】.spark处理大数据的统一分析计算引擎；
a.速度：在迭代循环的计算模型下，spark比Hadoop快100倍；
b.易用性：spark提供多种语言的API，如Java、Python、Scala、R、SQL等
c.扩展性：在spark RDD基础上，提供一整套的分析计算模型：spark SQL、spark Stresaming、spark MLLib和图计算；
d.运行： spark支持在hadoop、Hadoop, Apache Mesos, Kubernetes, standalone, or in the cloud.
2.spark安装部署：
ps:下载网址：http://spark.apache.org/downloads.html
(选择与您的Hadoop相对应的版本，我的是Hadoop2.7.3)
0).版本选型：spark2.1.2。依赖scala2.11.8
1).下载spark2.1.2.tar.gz
2).解压安装ÿ
最低0.47元/天 解锁文章
扫一扫
573
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
