Spark常用参数解释及建议值

最新推荐文章于 2023-03-29 11:29:15 发布
最新推荐文章于 2023-03-29 11:29:15 发布
阅读量941 收藏
点赞数
分类专栏： hadoop spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ABCDEFG0929/article/details/96994080
版权

Spark常用参数解释及建议值
spark的默认配置文件位于堡垒机上的这个位置: $SPARK_CONF_DIR/spark-defaults.conf，用户可以自行查看和理解。
需要注意的是，默认值优先级最低，用户如果提交任务时或者代码里明确指定配置，则以用户配置为先。 用户再理解参数含义的基础上，可根据具体任务情况调整参数。
以下常用参数配置均可以通过 --conf XXX=Y 方式使用，其他参数以及介绍请参考 https://spark.apache.org/docs/latest/configuration.html
在这里插入图片描述
在这里插入图片描述
Spark默认使用jdk7，使用jdk8的话添加如下配置：
若只设置客户端jdk版本：
export JAVA_HOME=

最低0.47元/天 解锁文章
trista0929
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
以集群方式运行pyspark
私奔在线
05-21 2539
一、背景说明 　　单机执行pyspark（python on spark）非常简单，只要在脚本所在服务器上部署个python环境或Anaconda这种集成运行环境，再通过python3命令执行就完了。 　　而想将python提交到spark集群中运行，则有两种方法，一种是在每个spark结点上部署python环境，在spark低版本与python集成没那么完善的时候，集群结点数又不多的情况下，的确可以这么干（实际上我就这么干过），这种方式比较大的优势是每次执行pyspark任务时，不用分发python环
Spark on YARN
努力的凹凸曼的博客
10-10 217
YARN概述 YARN是什么 Apache Hadoop YARN（Yet Another Resource Negotiator，另一种资源协调者）是一种新的 Hadoop 资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。 YARN在Hadoop生态系统中的位置 YARN产生的背景 随着互联网高速发...
Spark On YARN时指定Python版本
benrciv的博客
02-10 1552
Spark On YARN时指定Python版本
Spark记录-实例和运行在Yarn
weixin_30375247的博客
11-07 171
#运行实例 #./bin/run-example SparkPi 10 #./bin/spark-shell --master local[2] #./bin/pyspark --master local[2] #./bin/spark-submit examples/src/main/python/pi.py 10 #./bin/sparkR --master local[2] ...
Spark 在YARN上运行
大强博客
01-31 5025
在YARN上运行Spark 安全 在YARN上启动Spark 添加其他JAR 准备工作 组态 调试您的应用程序 Spark特性 重要笔记 的Kerberos YARN特定的Kerberos配置 Kerberos故障排除 配置外部随机播放服务 使用Apache Oozie启动您的应用程序 使用Spark History Server替换Spark Web U...
Spark常用命令
01-07
hdfs dfs -put SpeakerBigData-1.0-SNAPSHOT.jar /spark/hadoop/my_jars/ 2.提交依赖 3.执行任务 /data/software/spark-2.2.1/bin/spark-submit –class com.anker.eufy.device.DeviceRePurchase –master yarn –...
Spark3.0 调优参数 思维导图
11-09
Spark3.0 调优参数 思维导图，包含Spark, Spark Sql, Hadoop等参数
Scala基础(12)Spark命令参数及独立应用程序
01-20
这个参数表示当前Spark Shell要连接到哪个master，如果是local[*]，就是使用本地模式启动spark-shell，其中中括号内的型号表示需要使用几个CPU核心（core），也就是启动几个线程模拟spark集群。 –jars 这个参数用于...
spark性能调优参数总结
08-15
详细讲解了创建spark应用的参数含义以及出现问题对应的调优策略
Spark基本架构及原理
02-25
ApacheSpark是一个围绕速度、易用性和复杂分析构建的大数据处理框架，最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一，与Hadoop和...架构及生态2.spark与hadoop3.运行流程及特点4
spark采用命令行方式提交的配置说明（yarn模式）-持续更新
最新发布
xfysq_的博客
03-29 653
spark采用命令行方式提交的配置说明（yarn模式）
spark源码跟踪(十)container申请与Executor启动
weixin_43172032的博客
02-24 1563
Container申请与Executor启动一，介绍二，YarnAllocator说明2.1，类构造函数三，Container资源申请3.1，常用概念及其类3.3，调用过程3.3.1，allocateResources(): Unit3.3.2，请求资源3.3.3，handleAllocatedContainers3.3.3，ExecutorRunnable四，YarnCoarseGrainedExecutorBackend进程 一，介绍 yarn-cluster模式下，Spark Container资源的
Spark on Yarn用执行流程图解（包含stage流程）
GSpinach的博客
08-11 5285
@Author : Spinach | GHB @Link : http://blog.csdn.net/bocai8058 文章目录前言 前言
spark源码-任务提交流程之-4-container中启动executor
m0_37817767的博客
07-26 612
spark源码
【大数据】HADOOP-YARN-ContainerExecutor容器启动器详解
如切如磋，如琢如磨，臻于至善。
03-13 1555
这个执行器仅在GNU/Linux上支持。为了最大化安全，executor安装限制本地文件和被容器使用目录（如共享对象，jars，中间文件，日志文件等等）的权限和用户/组所属权。这里的组hadoop是NodeManager Unix用户（yarn）所属的组，并且组内没有非hadoop相关的用户，以防安全风险。在NodeManager中，会为每个Application，以及每个Container建立一个对应的目录，在每个Container的目录下，就放置了一些运行这个Container必需的信息。
pyspark 随机森林训练和预测项目
weixin_48412526的博客
05-24 966
pyspark 项目训练 配置spark环境 import json import datetime import pandas as pd from pyspark.sql import SparkSession import pyspark.sql.functions as F from pyspark.sql.functions import col from pyspark.sql.types import StructType,StructField, StringType, Integer
2万字硬核spark源码精讲手册
10-31 3140
spark源码精讲，结合企业级开发和面试实战重点关注内容
使用spark遇到的问题
zhaodongh的博客
06-15 472
1.如何设置广播变量： from pyspark.sql import SparkSession from pyspark.sql import functions as F from pyspark.sql import Window from pyspark.sql.types import StructField from pyspark.sql.types import StructType from pyspark.sql.types import StringType from pyspar
spark部署及提交任务
u012485099的博客
01-19 2301
1.提交格式 spark-submit \ --class com.data.Test \ --master yarn-cluster \ --executor-memory 1G \ --num-executors 8 \ --executor-cores 2 \ --queue test_queue spark-sql \ --queue test_queue \ --deploy-mode client \ --num-executors 10 \ --executor-memory
spark-sql cli 参数及使用
03-16
以下是常用的参数及使用： 1. --master：指定Spark集群的master节点地址，例如--master yarn或--master local。 2. --executor-memory：指定每个executor的内存大小，例如--executor-memory 2g。 3. --driver-...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值