spark配置

本文详细介绍了在CentOS7上安装Spark 2.1.1的步骤,包括Scala的安装、环境变量配置、Spark下载解压、相关配置文件的设置,以及启动Spark Shell的方法。
摘要由CSDN通过智能技术生成

Linux安装Spark集CentOS7+Spark2.1.1
1 安装Spark依赖的Scala
Scala的下载和解压缩可以参考下面博文的对应章节,步骤和方法一模一样:http://blog.csdn.net/pucao_cug/article/details/72353701
1.2 为Scala配置环境变量
编辑/etc/profile这个文件,在文件中增加一行配置:
export SCALA_HOME=/opt/scala/scala-2.12.2
在该文件的PATH变量中增加下面的内容:添加完成后,我的/etc/profile的配置如下:
export JAVA_HOME=/opt/java/jdk1.8.0_121
export SCALA_HOME=/opt/scala/scala-2.12.2
export CLASS_PATH=.: J A V A H O M E / l i b : {JAVA_HOME}/lib: JAVAHOME/lib:CLASS_PATH
export PATH=.?{JAVA_HOME}/bin:

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值