Linux上安装Spark

最新推荐文章于 2023-03-31 10:56:25 发布

扭秧歌去巴黎

最新推荐文章于 2023-03-31 10:56:25 发布

阅读量461

点赞数

文章标签： spark linux scala

本文链接：https://blog.csdn.net/qq_36230829/article/details/129863455

版权

的值调整为较小的值，以避免资源不足或者整个集群在运行多个任务时变得缓慢（根据自己电脑的情况）输入jps查看节点情况，可以看到worker和master都已经启动了。在浏览器中输入192.168.217.101（你的端口号）:8080。将Spark上传到虚拟机中，并解压到想要的位置。进入到sbin目录,start-all。复制spark的环境配置文件。输入scala语句测试。

摘要由CSDN通过智能技术生成

Spark官网下载地址
http://spark.incubator.apache.org/downloads.html

将Spark上传到虚拟机中，并解压到想要的位置

tar -xvf spark-2.4.0-bin-hadoop2.7.tar -C /opt/server/

进入到conf目录

cd /opt/server/spark-2.4.0-bin-hadoop2.7/conf/

复制spark的环境配置文件

cp spark-env.sh.template spark-env.sh

然后编辑配置文件

vim spark-env.sh

在里面插入以下内容

export SCALA_HOME=/opt/server/scala-2.13.10
export JAVA_HOME=/opt/server/jdk1.8.0_361
export SPARK_HOME=/opt/server/spark-2.4.0-bin-hadoop2.7
export SPARK_MASTER_IP=192.168.217.101
export SPARK_EXECUTOR_MEMORY=512M
export SPARK_WORKER_MEMORY=1G

将spark.executor.memory和spark.worker.memory的值调整为较小的值，以避免资源不足或者整个集群在运行多个任务时变得缓慢（根据自己电脑的情况）

进入到sbin目录,start-all

最低0.47元/天解锁文章

扭秧歌去巴黎

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
1
评论
Linux上安装Spark

的值调整为较小的值，以避免资源不足或者整个集群在运行多个任务时变得缓慢（根据自己电脑的情况）输入jps查看节点情况，可以看到worker和master都已经启动了。在浏览器中输入192.168.217.101（你的端口号）:8080。将Spark上传到虚拟机中，并解压到想要的位置。进入到sbin目录,start-all。复制spark的环境配置文件。输入scala语句测试。
复制链接

扫一扫