Spark学习笔记2@spark-env参数说明

最新推荐文章于 2023-07-01 09:41:09 发布
最新推荐文章于 2023-07-01 09:41:09 发布
阅读量882 收藏 1
点赞数
分类专栏： spark 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hqwang4/article/details/69389214
版权
参数名默认值参数说明
JAVA_HOMEAVA安装目录
PYSPARK_PYTHONPySpark驱动器和worker使用的Python二进制可执行文件
PYSPARK_DRIVER_PYTHON$PYSPARK_PYTHON
SPARK_LOCAL_IP本地绑定的IP
SPARK_PUBLIC_DNSSpark应用发布给其他主机的hostname
SPARK_MASTER_IPMaster绑定特定的IP
SPARK_MASTER_PORT7077为Master指定特定端口
SPARK_MASTER_WEBUI_PORT8080Master web UI特定端口
SPARK_MASTER_OPTS配置Master参数，格式“-Dx=y”，可选参数参考下面列表
SPARK_LOCAL_DIRS本地存储空间，包括map输出文件和存储在磁盘的RDDs，可以设置为以逗号分隔的不同磁盘的多个目录
SPARK_WORKER_CORES所有cpu核允许Spark应用程序使用的cpu核数
SPARK_WORKER_MEMORYtotal memory minus 1 GB允许Spark应用程序使用的memory总数
SPARK_WORKER_PORTWorker端口
SPARK_WORKER_WEBUI_PORTWorker webUI 端口
SPARK_WORKER_INSTANCES1每台机器上运行的Worker实例数。如果要设置这个参数，也要设置SPARK_WORKER_CORES参数以明确限制每个Worker使用Cpu数，否则每个Worker尝试使用所有Cpu核
SPARK_WORKER_DIR$SPARK_HOME/work运行应用程序的目录，包括日志及scratch空间
SPARK_WORKER_OPTS配置Worker参数，格式“-Dx=y”，可选参数参考下面列表
SPARK_DAEMON_MEMORY1G分配给Spark Master、worker守护进程的内存
SPARK_DAEMON_JAVA_OPTSSpark Master、Worker守护进程的JVM选项，格式“-Dx=y”
SPARK_PUBLIC_DNSSpark Master、worker公共DNS名称

参考文档：http://spark.apache.org/docs/1.5.0/spark-standalone.html#cluster-launch-scripts

pigcoffee
关注
专栏目录
spark-env.sh配置——Spark学习日记
YYYYYY.的博客
12-10 1万+
大数据 Spark 不显示Worker问题 配置好spark后，输入jps只有Master，没有Worker 修改spark-env.sh文件 找到spark-env.sh位置 /home/hadoopadmin/spark-2.3.1-bin-hadoop2.7/conf ls 如果有 template 结尾的文件，都重命名为去掉 template 文件 编辑spark-env.sh文...
Spark学习笔记[3]-Spark安装部署
unlock的博客
03-11 3453
Spark学习笔记[3]-Spark安装部署 1、下载对应版本的spark   官网我始终都下不下来，推荐一个国内的镜像： https://mirrors.tuna.tsinghua.edu.cn/apache/spark 2、概述 2-1 安装模式   虽然Spark是一个分布式计算框架，但是其不属于Hadoop Project，它有自己的资源层管理和文件系统，可以不依赖Hadoop的HDFS和Yarn，所以安装部署的时候可以只安装spark，对应的就是standalone集群， 但是一般都会使用HDF
spark-env.sh
wuchongyong的博客
11-06 758
spark
spark-env.sh常用配置项
04-11 563
SPARK_MASTER_IP 绑定一个外部IP给master. SPARK_MASTER_PORT 从另外一个端口启动master(默认: 7077) SPARK_MASTER_WEBUI_PORT Master的web UI端口 (默认: 8080),这个端口太常用，建议换一个 SPARK_WORKER_PORT 启动Spark worker 的专用端口...
Spark Standalone spark-env.sh
anghiking20140716的博客
02-19 125
export JAVA_HOME=/app/jdk export SPARK_MASTER_PORT=7077 export SPARK_MASTER_WEBUI_PORT=8080 export SPARK_WORKER_CORES=50 export SPARK_WORKER_OPTS=" -Dspark.worker.cleanup.enabled=true -Dspark.wor...
Spark集群配置spark-env.sh【standalnoe模式搭建】
weixin_44943389的博客
07-01 463
slave。
spark学习笔记，完成于2022年04月13日
最新发布
11-18
2. **Spark 安装与配置**： - **解压Spark**：安装时通常需要解压Spark的二进制包，并根据系统环境配置相关目录。 - **配置文件**：主要涉及`spark-env.sh`，用于设定JDK路径、主节点等环境变量，`slaves`文件列出...
3.Spark的安装（华为云学习笔记，Spark编程基础，大数据）
GCPOP的博客
06-10 399
Spark的安装 ① 在Linux系统中安装Spark； ② 运行Spark自带实例。 实验原理 -> Spark Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更
Spark大数据处理学习笔记
09-18
"Spark大数据处理学习笔记" 本篇笔记主要涵盖了 Spark 大数据处理的学习笔记，包括了 Spark Standalone 集群的搭建、RDD 的创建和算子、RDD 的分区、RDD 典型案例、IDEA 开发词频统计项目等方面的知识点。 一、...
Spark基础学习笔记04：搭建Spark伪分布式环境
lwmzl00的博客
06-17 484
零、本讲学习目标 学会搭建Spark伪分布式环境 学会启动Spark Shell进行交互式操作 学会使用Spark WebUI查看运行状态 Spark单机伪分布式是在一台机器上既有Master，又有Worker进程。搭建Spark单机伪分布式环境可在Hadoop伪分布式的基础上进行搭建。一、搭建伪分布式Hadoop （一）登录ied虚拟机 利用win7虚拟机上的FinalShell登录ied虚拟机本机远程桌面连接win7虚拟机【对外IP地址：192.168.177.116，私有IP地址：192.168.1.
Spark:spark-evn.sh参数详解
标题
06-17 626
SPARK_MASTER_IP 指定master进程所在的机器的ip地址 SPARK_MASTER_PORT 指定master监听的端口号（默认是7077） SPARK_MASTER_WEBUI_PORT 指定master web ui的端口号（默认是8080） SPARK_MASTER_OPTS 设置master的额外参数，使用"-Dx=y"设置各个参数。 例：export SPARK_MAST...
SparkEnv
博客标题不能为空
08-22 111
1.简介：保存正在运行的Spark实例（主服务器或工作服务器）的所有运行时环境对象，包括序列化程序，RpcEnv，块管理器，映射输出跟踪器等。目前Spark代码通过全局变量查找SparkEnv，因此所有线程都可以 访问相同的SparkEnv。 它可以通过SparkEnv.get访问（例如在创建SparkContext之后）。 2.构造方法： class SparkEnv ( val ...
深入理解SparkEnv
小朋友2滴偷偷的在写博客
06-12 624
SparkEnv.scala注释 SparkEnv.scala private[spark] def createDriverEnv( conf: SparkConf, isLocal: Boolean, ... // 每个executor中的core的数量 numCores: Int, ... create( ...
三, Spark 四种运行环境配置总结
菜菜的大数据开发の路
02-27 3075
三, Spark 运行环境 Spark 的运行模式有 Local(也称单节点模式），Standalone(集群模式），Spark on Yarn(运行在Yarn上），Mesos以及K8s, Windows模式等常用模式 3.1 Local模式 Local模式被定义为不需要其他任何节点资源, 在本地执行Spark代码的环境,也叫单机模式, 一般用于教学,调试, 演示等等, 配置文件设置方法: conf.setMaster[local[K]] 1. 解压相关的依赖文件 将 spark-3.0.0-
Spark 性能优化（翻译）
nangua06的博客
07-14 215
原文太长，提炼关键点 数据序列化 (Kryo更快，使用SparkConf初始化作业并调用conf.set（“ spark.serializer”，“ org.apache.spark.serializer.KryoSerializer”）来切换为使用Kryo) 内存调优 内存管理概述 确定内存消耗（ 确定数据集所需的内存消耗量的最佳方法是创建一个RDD，将其放入缓存中，然后查看Web...
Spark-创建执行环境SparkEnv
weixin_41227335的博客
01-10 214
SparkEnv 构造步骤： 1.创建安全管理器SecurityManager： 主要对权限、账号进行设置，若用YARN作为集群管理器，则需要证书生成secret key登录。 2.创建基于Akka的分布式消息系统ActorSystem： Spark使用它来实现并发编程，也用它来发送分布式消息。 Spark1.6后已使用Netty完全替代Akka 3.创建Map任务输出跟踪...
spark集群搭建
前方的路在刚开始
09-27 1007
spark有4种模式，单节点（没人用）这里主要搭建yarn和standalone
Spark记录-spark-env.sh配置
weixin_30532759的博客
12-14 1062
环境变量含义 SPARK_MASTER_IP master实例绑定的IP地址，例如，绑定到一个公网IP SPARK_MASTER_PORT mater实例绑定的端口（默认7077） SPARK_MASTER_WEBUI_PORT master web UI的端口（默认8080） SPARK_MASTER_OPTS master专用配置属性，格式如...
spark参数详解
cxy1991xm的博客
06-15 1545
spark的配置参数可以在多个地方配置，以executor的memory为例，有三个地方可以配置 (1)spark-submit的--executor-memory选项 (2)spark-defaults.conf的spark.executor.memory配置 (3)spark-env.sh的SPARK_EXECUTOR_MEMORY配置 优先级：spark-submit --选项 > ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值