本文详细介绍了Spark的部署实践，包括手动配置Scala，从Apache官网下载并匹配版本的Spark，配置环境变量，以及启动Spark集群。在部署过程中，需要注意Scala与Spark版本的匹配，集群防火墙、节点间时钟同步和执行权限等问题。成功启动后，可以通过localhost:8080查看集群监测界面。
第二章、Spark部署与安装
1部署实践
1.1手动配置Scala
之所以安装scala,是由于spark上使用的为Scala语言。当然也能运行R、Java、Python，安装过程如下。将scala-2.10.4分发到各节点的~/Cloud目录下
$./auto_sync_simple.sh scala-2.10.4~/Cloud
修改/etc/profile文件，在该文件最后追加如下信息
exportSCALA_HOME=/home/hadoop/Cloud/scala-2.10.4
exportPATH=$SCALA_HOME/bin:$PATH
更新profile文件
$source /etc/profile
1.2配置Spark
到官网下载spark
地址：http://spark.apache.org/downloads.html
注意版本的匹配。本教程使用1.3.0版本的spark。
将压缩包移动到目标文件夹并解压：
$mv spark-1.3.0-bin-hadoop2.4.tgz ~/Cloud
最低0.47元/天 解锁文章
扫一扫
2374
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
