spark

最新推荐文章于 2023-01-07 21:15:52 发布

yangwenxiaohaha

最新推荐文章于 2023-01-07 21:15:52 发布

阅读量206

点赞数

分类专栏： hadoop生态

本文链接：https://blog.csdn.net/yangwenxiaohaha/article/details/102913888

版权

本文详细介绍了如何在Linux上安装和配置Spark集群。从创建/data/spark2目录开始，通过wget下载Spark和Scala安装包，然后进行解压缩和环境变量设置。接着配置Spark的master和worker节点，启动Hadoop和Spark，并通过Spark Shell进行测试，确保安装正确。最后，调整log4j日志级别以优化输出。

摘要由CSDN通过智能技术生成

任务步骤
1.Spark的运行依赖jdk，Hadoop，Scala。在这里默认已安装jdk以及Hadoop伪分布模式。

2.在Linux上，创建目录/data/spark2，用于存储spark安装所需的文件。

view plain copy
mkdir -p /data/spark2
切换目录到/data/spark2下，使用wget命令，下载所需的Spark的安装包spark-1.6.0-bin-hadoop2.6.tgz及scala安装包scala2.10.4.tgz。

view plain copy
cd /data/spark2/
wget http://192.168.1.100:60000/allfiles/spark2/scala-2.10.4.tgz
wget http://192.168.1.100:60000/allfiles/spark2/spark-1.6.0-bin-hadoop2.6.tgz
此处建议使用scala-2.10.4版本。官网中指出，若使用scala2.11.x，则需要重新编译spark，并且编译时，需要指定scala版本的类型。

关于spark版本，没有严格要求。所以我们使用spark1.6版本。

3.安装Scala。切换目录到/data/spark2下，将目录下的scala-2.10.4.tgz解压缩到/apps目录下，并将解压后的目录名改为/apps/scala。

view plain copy
cd /data/spark2/
tar -xzvf /data/spark2/scala-2.10.4.tgz -C /apps/
cd /apps
mv /apps/scala-2.10.4/ /apps/scala
使用vim打开用户环境变量~/.bashrc。

view plain copy
vim ~/.bashrc
将scala的bin目录，追加的用户环境变量中。

view plain copy
#scala
export SCALA_HOME=/apps/scala
export PATH= $SCALA_HOME/bin:$