Spark搭建过程(小白带所有安装包)

如果你不熟悉Linux,没关系,可以根据我之前写的JDK的安装学习一下,如果你真的是一点也看不懂,最好自己去学一下Linux的相关操作。

安装所需要的资源:链接:http://pan.baidu.com/s/1slTnrGT 密码:k30g(里面的jdk是32位,你需要去链接:http://pan.baidu.com/s/1kU8Q5wF 密码:key1 下载一个你自己需要的位数)

Spark的安装一共需要以下几个部分:

1     JDK的安装 

2    Scala的安装

3    SSH互信

4    Hadoop的安装

5    Spark的安装


第一部分JDK的安装可以参照我的一篇文档http://download.csdn.net/detail/h66295112/9842175(这里可以下载,里面有图解)

或者参照我的博文http://blog.csdn.net/h66295112/article/details/71600568(少了一部分图,请原谅我的懒惰)


第二部分scala的安装可以参考我的博文,这个安装非常简单http://blog.csdn.net/h66295112/article/details/71600702


第三部分ssh互信可以参考我的博文,我的互信这里写的虽然简单,但是很实用,非常easy http://blog.csdn.net/h66295112/article/details/71600482


第四部分hadoop的安装可以参照我自己保留的一篇文档http://download.csdn.net/detail/h66295112/9842178

或者参照我的博文http://blog.csdn.net/h66295112/article/details/71600618(少了一部分图,请原谅我的懒惰)


第五部分spark的安装

配置spark 
安装后,需要在 ./conf/spark-env.sh 中修改 Spark 的 Classpath,执行如下命令拷贝一个配置文件:

cd /usr/local/spark
cp ./conf/spark-env.sh.template ./conf/spark-env.sh
 
 
  • 1
  • 2
  • 1
  • 2

编辑 ./conf/spark-env.sh(vim ./conf/spark-env.sh) ,在最后面加上如下一行:

export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath)
 
 
  • 1
  • 1

保存后,Spark 就可以启动了。

好了 到这里spark搭建完毕


评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值