Spark集群配置

最新推荐文章于 2023-01-15 23:07:03 发布

CodeCold

最新推荐文章于 2023-01-15 23:07:03 发布

阅读量786

点赞数

分类专栏： Linux Hadoop 文章标签： Hadoop Spark Scala 并行处理框架

本文链接：https://blog.csdn.net/baidu_24281959/article/details/51405258

版权

本文档详细介绍了在已有的Hadoop集群上配置和部署Spark的步骤，包括在Master和Slave节点安装Scala环境，配置SPARK_HOME，设置slaves文件，通过Yarn管理Spark，并解决可能遇到的问题。

摘要由CSDN通过智能技术生成

Spark是一个快速、通用的计算集群框架，它的内核使用Scala语言编写，它提供了Scala、Java和Python编程语言high-level API，使用这些API能够容易地开发并行处理的应用程序。

在已经搭建完成Hadoop集群（http://dblab.xmu.edu.cn/blog/install-hadoop-cluster/ ）和在Master节点安装了Spark（http://dblab.xmu.edu.cn/blog/spark-quick-start-guide/ ）基础上我们进行下述安装步骤：

Master:192.168.235.133 用户名为hadoop

Slave:192.168.235.134 用户名为hadoop

Spark Hadoop Scala 均安装在/usr/local 路径下

1. 在Master节点下载安装配置Scala：

sudo tar -zxf ~/Downloads/scala-2.10.3.tgz -C /usr/local/
cd/usr/local
sudo mv./ scala-2.10.3/ ./scala
sudo chown -R hadoop:hadoop ./scala

在~/.bashrc中增加环境变量SCALA

关注

专栏目录