spark配置

最新推荐文章于 2024-09-14 02:05:52 发布

柳奕坤

最新推荐文章于 2024-09-14 02:05:52 发布

阅读量3.5k

点赞数

分类专栏：大数据文章标签： spark big data scala

本文链接：https://blog.csdn.net/m0_50289266/article/details/123478680

版权

本文档详细介绍了如何在Linux环境下配置Spark，包括关闭防火墙、上传并解压Scala和Spark包、设置环境变量、配置Spark环境文件、启动Spark集群、通过Yarn运行模式提交任务，以及查看历史任务日志服务器。

摘要由CSDN通过智能技术生成

前提：关闭防火墙

禁止下次开机启动，并不会关闭防火墙
- 命令 : chkconfig iptables off
关闭防火墙
- 命令： service iptables stop
- contos7 关闭防火墙命令 sudo systemctl stop firewalld.service

一、上传 scala-2.10.4.zip 和 spark-2.0.2-bin-hadoop2.6.tgz 包并解压

目录：D:\java\1笔记资料及资源\大数据Hadoop\资料\spark\spark-jar驱动包

二、配置 Scala 和 spark 的环境变量

命令：vim /etc/profile

export SCALA_HOME=/opt/scala
export SPARK_HOME=/opt/spark
PATH=$SCALA_HOME/bin:$SPARK_HOME/bin:$SPARK_HOME/sbin

完成后刷新文件： source /etc/profile

三、输入 Scala 命令测试 Scala

四、进入spark 的conf 目录，将spark-env.sh.template 复制为 spark-env.sh 并编辑，添加如下信息：

JAVA_HOME 指定的是Java的安装目录;
SCALA_HOME 指定的是Scala的安装目录;
SPARK_MASTER_IP指定的是 Spark集群的Master 节点的P地址;
SPARK_WORKER_MEMOERY 指定的Worker节点能够最大分配给Executors的内存大小，因为我们的三台机器配置都是2GB，