本文详细介绍了如何搭建Scala和Spark平台，包括Scala的解压、配置环境变量，Spark Local的测试，Spark Standalone的配置及多节点部署，Spark on Yarn的设置，Spark与Hive的集成，以及通过thriftServer使用Beeline连接Hive。
Scala平台搭建
（1）解压scala2.11.8
命令：tar -zxvf scala2.11.8.tgz
（2）创建软链接
命令：ln -s scala2.11.8 scala
（3）配置环境变量
命令：sudo vim /etc/profile
内容处置：添加以下内容
SCALA_HOME=~/apps/scala
PATH=$PATH:$SCALA_HOME/bin
export SCALA PATH
（4）生效配置文件
命令：source /etc/profile
Spark Local
（1）解压spark2.1.2压缩包
命令：tar -zxvf spark2.1.2.tgz
（2）创建软链接
命令：ln -s spark2.1.2 spark
（3）配置环境变量
命令：sudo vim /etc/profile
内容处置：添加以下内容
SPARK_HOME=~/apps/spark
最低0.47元/天 解锁文章
595
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
