spark任务日志配置

最新推荐文章于 2024-06-26 11:02:49 发布
最新推荐文章于 2024-06-26 11:02:49 发布
阅读量841 收藏 2
点赞数
文章标签： 大数据 java 数据库
原文链接：http://www.cnblogs.com/dtmobile-ksw/p/11508087.html
版权

 样例代码：

public class SparkTest {

    private static Logger logger = Logger.getLogger(SparkTest.class);
    public static void main(String[] args) {
        
        String db = ConfigurationManager.getProperty(Constants.HIVE_DATABASE);
        
        SparkConf conf = new SparkConf();
        SparkSession spark = SparkSession
                .builder()
                .appName("jointSitePlan")
                .master("local")
                .config(conf)
                .enableHiveSupport()
                .getOrCreate();
　　　　 Logger.getLogger("org").setLevel(Level.WARN);
       
        
        spark.sql("use "+db+"");
        logger.info("本次测试使用数据库："+db);
        
        spark.sql("select * from beam_pattern").write().mode(SaveMode.Overwrite).saveAsTable("testlog4j");
        List<Row> list = spark.sql("select * from testlog4j limit 1").collectAsList();
        if(list.isEmpty()) {
            logger.error("测试数据写入失败");
        }else {
            logger.info("测试数据写入成功");
        }
        
        
    }

}

 

拷贝一份spark默认的log4j.properties文件，调整合适的日志级别，以及添加yarn日志聚合以方便到web ui界面查看日志

#spark log默认配置
log4j.rootLogger=${root.logger}
root.logger=INFO,console
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.target=System.err
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{2}: %m%n
shell.log.level=WARN
log4j.logger.org.eclipse.jetty=WARN
log4j.logger.org.spark-project.jetty=WARN
log4j.logger.org.spark-project.jetty.util.component.AbstractLifeCycle=ERROR
log4j.logger.org.apache.spark.repl.SparkIMain$exprTyper=INFO
log4j.logger.org.apache.spark.repl.SparkILoop$SparkILoopInterpreter=INFO
log4j.logger.org.apache.parquet=ERROR
log4j.logger.parquet=ERROR
log4j.logger.org.apache.hadoop.hive.metastore.RetryingHMSHandler=FATAL
log4j.logger.org.apache.hadoop.hive.ql.exec.FunctionRegistry=ERROR
log4j.logger.org.apache.spark.repl.Main=${shell.log.level}
log4j.logger.org.apache.spark.api.python.PythonGatewayServer=${shell.log.level}
#对cn.com.dtmobile下的程序进行日志优先级INFO输出
log4j.logger.cn.com.dtmobile=INFO

log4j.appender.FILE=org.apache.log4j.DailyRollingFileAppende
log4j.appender.FILE.Threshold=INFO
#用于日志聚合
log4j.appender.File.file=${spark.yarn.app.container.log.dir}/capacitySimulation.log
log4j.appender.FILE.DatePattern='.'yyyy-MM-dd
log4j.appender.FILE.layout=org.apache.log4j.PatternLayout
log4j.appender.FILE.layout.ConversionPattern=[%-5p] [%d{yyyy-MM-dd HH:mm:ss}] [%C{1}:%M:%L] %m%n

 

 

 通过--files指定log4j.properties文件，注意需要对driver和executor指定extraJavaOptions使用上面我们编辑好的log4j.properties文件。

spark2-submit \
--class cn.com.dtmobile.test.SparkTest \
--master yarn \
--deploy-mode cluster \
--driver-memory 1G \
--executor-memory 1G \
--num-executors 2 \
--executor-cores 2 \
--driver-java-options "-Dlog4j.configuration=log4j.properties" \
--conf spark.executor.extraJavaOptions="-Dlog4j.configuration=log4j.properties" \
--files /home/etluser/kong/log4j.properties \
testlog.jar

 指定log4j配置文件也可以在代码中通过sparkConf传入，此外也可以针对driver和executor指定不同的log4j配置文件

conf.set("spark.executor.extraJavaOptions", "-XX:+UseG1GC -Dlog4j.configuration=log4j.properties");
conf.set("spark.driver.extraJavaOptions", "-XX:+UseG1GC -Dlog4j.configuration=log4j.properties");
conf.set("spark.files","hdfs:/path/to/file")//注意这里只需要加上个hdfs的schema即可，不需要ip port.

 

到spark job web ui界面查看日志

18/09/11 18:45:35 INFO client.RMProxy: Connecting to ResourceManager at master01.hadoop.dtmobile.cn/172.30.5.211:8030
18/09/11 18:45:35 INFO yarn.YarnRMClient: Registering the ApplicationMaster
18/09/11 18:45:35 INFO yarn.YarnAllocator: Will request 2 executor container(s), each with 2 core(s) and 2048 MB memory (including 1024 MB of overhead)
18/09/11 18:45:35 INFO cluster.YarnSchedulerBackend$YarnSchedulerEndpoint: ApplicationMaster registered as NettyRpcEndpointRef(spark://YarnAM@worker02.hadoop.dtmobile.cn:33519)
18/09/11 18:45:35 INFO yarn.YarnAllocator: Submitted 2 unlocalized container requests.
18/09/11 18:45:35 INFO yarn.ApplicationMaster: Started progress reporter thread with (heartbeat : 3000, initial allocation : 200) intervals
18/09/11 18:45:37 INFO yarn.YarnAllocator: Launching container container_1567385368849_0060_01_000002 on host worker02.hadoop.dtmobile.cn for executor with ID 1
18/09/11 18:45:37 INFO yarn.YarnAllocator: Launching container container_1567385368849_0060_01_000003 on host worker02.hadoop.dtmobile.cn for executor with ID 2
18/09/11 18:45:37 INFO yarn.YarnAllocator: Received 2 containers from YARN, launching executors on 2 of them.
18/09/11 18:45:39 INFO cluster.YarnSchedulerBackend$YarnDriverEndpoint: Registered executor NettyRpcEndpointRef(spark-client://Executor) (172.30.5.213:35698) with ID 1
18/09/11 18:45:39 INFO cluster.YarnSchedulerBackend$YarnDriverEndpoint: Registered executor NettyRpcEndpointRef(spark-client://Executor) (172.30.5.213:35700) with ID 2
18/09/11 18:45:39 INFO storage.BlockManagerMasterEndpoint: Registering block manager worker02.hadoop.dtmobile.cn:40563 with 366.3 MB RAM, BlockManagerId(1, worker02.hadoop.dtmobile.cn, 40563, None)
18/09/11 18:45:39 INFO storage.BlockManagerMasterEndpoint: Registering block manager worker02.hadoop.dtmobile.cn:36595 with 366.3 MB RAM, BlockManagerId(2, worker02.hadoop.dtmobile.cn, 36595, None)
18/09/11 18:45:39 INFO cluster.YarnClusterSchedulerBackend: SchedulerBackend is ready for scheduling beginning after reached minRegisteredResourcesRatio: 0.8
18/09/11 18:45:39 INFO cluster.YarnClusterScheduler: YarnClusterScheduler.postStartHook done
18/09/11 18:45:44 INFO test.SparkTest: 本次测试使用数据库：capacity
18/09/11 18:45:50 INFO test.SparkTest: 测试数据写入成功

 

 关于log4j.properties更加细粒度的设置可以参考如下：

################################################################################ 
#①配置根Logger，其语法为： 
# 
#log4j.rootLogger = [level],appenderName,appenderName2,... 
#level是日志记录的优先级，分为OFF,TRACE,DEBUG,INFO,WARN,ERROR,FATAL,ALL 
##Log4j建议只使用四个级别，优先级从低到高分别是DEBUG,INFO,WARN,ERROR 
#通过在这里定义的级别，您可以控制到应用程序中相应级别的日志信息的开关 
#比如在这里定义了INFO级别，则应用程序中所有DEBUG级别的日志信息将不被打印出来 
#appenderName就是指定日志信息输出到哪个地方。可同时指定多个输出目的 
################################################################################ 
################################################################################ 
#②配置日志信息输出目的地Appender，其语法为： 
# 
#log4j.appender.appenderName = fully.qualified.name.of.appender.class 
#log4j.appender.appenderName.optionN = valueN 
# 
#Log4j提供的appender有以下几种： 
#1)org.apache.log4j.ConsoleAppender(输出到控制台) 
#2)org.apache.log4j.FileAppender(输出到文件) 
#3)org.apache.log4j.DailyRollingFileAppender(每天产生一个日志文件) 
#4)org.apache.log4j.RollingFileAppender(文件大小到达指定尺寸的时候产生一个新的文件) 
#5)org.apache.log4j.WriterAppender(将日志信息以流格式发送到任意指定的地方) 
# 
#1)ConsoleAppender选项属性 
# -Threshold = DEBUG:指定日志消息的输出最低层次 
# -ImmediateFlush = TRUE:默认值是true,所有的消息都会被立即输出 
# -Target = System.err:默认值System.out,输出到控制台(err为红色,out为黑色) 
# 
#2)FileAppender选项属性 
# -Threshold = INFO:指定日志消息的输出最低层次 
# -ImmediateFlush = TRUE:默认值是true,所有的消息都会被立即输出 
# -File = C:\log4j.log:指定消息输出到C:\log4j.log文件 
# -Append = FALSE:默认值true,将消息追加到指定文件中，false指将消息覆盖指定的文件内容 
# -Encoding = UTF-8:可以指定文件编码格式 
# 
#3)DailyRollingFileAppender选项属性 
# -Threshold = WARN:指定日志消息的输出最低层次 
# -ImmediateFlush = TRUE:默认值是true,所有的消息都会被立即输出 
# -File = C:\log4j.log:指定消息输出到C:\log4j.log文件 
# -Append = FALSE:默认值true,将消息追加到指定文件中，false指将消息覆盖指定的文件内容 
# -DatePattern='.'yyyy-ww:每周滚动一次文件,即每周产生一个新的文件。还可以按用以下参数: 
#              '.'yyyy-MM:每月 
#              '.'yyyy-ww:每周 
#              '.'yyyy-MM-dd:每天 
#              '.'yyyy-MM-dd-a:每天两次 
#              '.'yyyy-MM-dd-HH:每小时 
#              '.'yyyy-MM-dd-HH-mm:每分钟 
# -Encoding = UTF-8:可以指定文件编码格式 
# 
#4)RollingFileAppender选项属性 
# -Threshold = ERROR:指定日志消息的输出最低层次 
# -ImmediateFlush = TRUE:默认值是true,所有的消息都会被立即输出 
# -File = C:/log4j.log:指定消息输出到C:/log4j.log文件 
# -Append = FALSE:默认值true,将消息追加到指定文件中，false指将消息覆盖指定的文件内容 
# -MaxFileSize = 100KB:后缀可以是KB,MB,GB.在日志文件到达该大小时,将会自动滚动.如:log4j.log.1 
# -MaxBackupIndex = 2:指定可以产生的滚动文件的最大数 
# -Encoding = UTF-8:可以指定文件编码格式 
################################################################################ 
################################################################################ 
#③配置日志信息的格式(布局)，其语法为： 
# 
#log4j.appender.appenderName.layout = fully.qualified.name.of.layout.class 
#log4j.appender.appenderName.layout.optionN = valueN 
# 
#Log4j提供的layout有以下几种： 
#5)org.apache.log4j.HTMLLayout(以HTML表格形式布局) 
#6)org.apache.log4j.PatternLayout(可以灵活地指定布局模式) 
#7)org.apache.log4j.SimpleLayout(包含日志信息的级别和信息字符串) 
#8)org.apache.log4j.TTCCLayout(包含日志产生的时间、线程、类别等等信息) 
#9)org.apache.log4j.xml.XMLLayout(以XML形式布局) 
# 
#5)HTMLLayout选项属性 
# -LocationInfo = TRUE:默认值false,输出java文件名称和行号 
# -Title=Struts Log Message:默认值 Log4J Log Messages 
# 
#6)PatternLayout选项属性 
# -ConversionPattern = %m%n:格式化指定的消息(参数意思下面有) 
# 
#9)XMLLayout选项属性 
# -LocationInfo = TRUE:默认值false,输出java文件名称和行号 
# 
#Log4J采用类似C语言中的printf函数的打印格式格式化日志信息，打印参数如下： 
# %m 输出代码中指定的消息 
# %p 输出优先级，即DEBUG,INFO,WARN,ERROR,FATAL 
# %r 输出自应用启动到输出该log信息耗费的毫秒数 
# %c 输出所属的类目,通常就是所在类的全名 
# %t 输出产生该日志事件的线程名 
# %n 输出一个回车换行符，Windows平台为“\r\n”，Unix平台为“\n” 
# %d 输出日志时间点的日期或时间，默认格式为ISO8601，也可以在其后指定格式 
#    如：%d{yyyy年MM月dd日 HH:mm:ss,SSS}，输出类似：2012年01月05日 22:10:28,921 
# %l 输出日志事件的发生位置，包括类目名、发生的线程，以及在代码中的行数 
#    如：Testlog.main(TestLog.java:10) 
# %F 输出日志消息产生时所在的文件名称 
# %L 输出代码中的行号 
# %x 输出和当前线程相关联的NDC(嵌套诊断环境),像java servlets多客户多线程的应用中 
# %% 输出一个"%"字符 
# 
# 可以在%与模式字符之间加上修饰符来控制其最小宽度、最大宽度、和文本的对齐方式。如： 
#  %5c: 输出category名称，最小宽度是5，category<5，默认的情况下右对齐 
#  %-5c:输出category名称，最小宽度是5，category<5，"-"号指定左对齐,会有空格 
#  %.5c:输出category名称，最大宽度是5，category>5，就会将左边多出的字符截掉，<5不会有空格 
#  %20.30c:category名称<20补空格，并且右对齐，>30字符，就从左边交远销出的字符截掉 
################################################################################ 
################################################################################ 
#④指定特定包的输出特定的级别 
#log4j.logger.org.springframework=DEBUG 
################################################################################ 


#OFF,systemOut,logFile,logDailyFile,logRollingFile,logMail,logDB,ALL 
log4j.rootLogger =ALL,systemOut,logFile,logDailyFile,logRollingFile,logMail,logDB 


#输出到控制台 
log4j.appender.systemOut = org.apache.log4j.ConsoleAppender 
log4j.appender.systemOut.layout = org.apache.log4j.PatternLayout 
log4j.appender.systemOut.layout.ConversionPattern = [%-5p][%-22d{yyyy/MM/dd HH:mm:ssS}][%l]%n%m%n 
log4j.appender.systemOut.Threshold = DEBUG 
log4j.appender.systemOut.ImmediateFlush = TRUE 
log4j.appender.systemOut.Target = System.out 


#输出到文件 
log4j.appender.logFile = org.apache.log4j.FileAppender 
log4j.appender.logFile.layout = org.apache.log4j.PatternLayout 
log4j.appender.logFile.layout.ConversionPattern = [%-5p][%-22d{yyyy/MM/dd HH:mm:ssS}][%l]%n%m%n 
log4j.appender.logFile.Threshold = DEBUG 
log4j.appender.logFile.ImmediateFlush = TRUE 
log4j.appender.logFile.Append = TRUE 
log4j.appender.logFile.File = ../Struts2/WebRoot/log/File/log4j_Struts.log 
log4j.appender.logFile.Encoding = UTF-8 


#按DatePattern输出到文件 
log4j.appender.logDailyFile = org.apache.log4j.DailyRollingFileAppender 
log4j.appender.logDailyFile.layout = org.apache.log4j.PatternLayout 
log4j.appender.logDailyFile.layout.ConversionPattern = [%-5p][%-22d{yyyy/MM/dd HH:mm:ssS}][%l]%n%m%n 
log4j.appender.logDailyFile.Threshold = DEBUG 
log4j.appender.logDailyFile.ImmediateFlush = TRUE 
log4j.appender.logDailyFile.Append = TRUE 
log4j.appender.logDailyFile.File = ../Struts2/WebRoot/log/DailyFile/log4j_Struts 
log4j.appender.logDailyFile.DatePattern = '.'yyyy-MM-dd-HH-mm'.log' 
log4j.appender.logDailyFile.Encoding = UTF-8 


#设定文件大小输出到文件 
log4j.appender.logRollingFile = org.apache.log4j.RollingFileAppender 
log4j.appender.logRollingFile.layout = org.apache.log4j.PatternLayout 
log4j.appender.logRollingFile.layout.ConversionPattern = [%-5p][%-22d{yyyy/MM/dd HH:mm:ssS}][%l]%n%m%n 
log4j.appender.logRollingFile.Threshold = DEBUG 
log4j.appender.logRollingFile.ImmediateFlush = TRUE 
log4j.appender.logRollingFile.Append = TRUE 
log4j.appender.logRollingFile.File = ../Struts2/WebRoot/log/RollingFile/log4j_Struts.log 
log4j.appender.logRollingFile.MaxFileSize = 1MB 
log4j.appender.logRollingFile.MaxBackupIndex = 10 
log4j.appender.logRollingFile.Encoding = UTF-8 


#用Email发送日志 
log4j.appender.logMail = org.apache.log4j.net.SMTPAppender 
log4j.appender.logMail.layout = org.apache.log4j.HTMLLayout 
log4j.appender.logMail.layout.LocationInfo = TRUE 
log4j.appender.logMail.layout.Title = Struts2 Mail LogFile 
log4j.appender.logMail.Threshold = DEBUG 
log4j.appender.logMail.SMTPDebug = FALSE 
log4j.appender.logMail.SMTPHost = SMTP.163.com 
log4j.appender.logMail.From = xly3000@163.com 
log4j.appender.logMail.To = xly3000@gmail.com 
#log4j.appender.logMail.Cc = xly3000@gmail.com 
#log4j.appender.logMail.Bcc = xly3000@gmail.com 
log4j.appender.logMail.SMTPUsername = xly3000 
log4j.appender.logMail.SMTPPassword = 1234567 
log4j.appender.logMail.Subject = Log4j Log Messages 
#log4j.appender.logMail.BufferSize = 1024 
#log4j.appender.logMail.SMTPAuth = TRUE 


#将日志登录到MySQL数据库 
log4j.appender.logDB = org.apache.log4j.jdbc.JDBCAppender 
log4j.appender.logDB.layout = org.apache.log4j.PatternLayout 
log4j.appender.logDB.Driver = com.mysql.jdbc.Driver 
log4j.appender.logDB.URL = jdbc:mysql://127.0.0.1:3306/xly 
log4j.appender.logDB.User = root 
log4j.appender.logDB.Password = 123456 
log4j.appender.logDB.Sql = INSERT INTOT_log4j(project_name,create_date,level,category,file_name,thread_name,line,all_category,message)values('Struts2','%d{yyyy-MM-ddHH:mm:ss}','%p','%c','%F','%t','%L','%l','%m')

 

转载于:https://www.cnblogs.com/dtmobile-ksw/p/11508087.html

diaoxie5099
关注
Hadoop3和Spark3配置日志聚合，客户端电脑实现YARN页面跳转查看Hadoop和Spark历史任务日志
zhengzaifeidelushang的博客
11-13 476
Hadoop3和Spark3配置日志聚合，客户端电脑实现YARN页面跳转查看Hadoop和Spark历史任务日志 Hadoop3和Spark3配置日志聚合的作用：将日志文件聚合到一起，通过web界面方便查看，并可以设置日志保存时间，节省空间，存储在HDFS上比较容易读取。 一、Hadoop、Spark日志聚合页面和YARN任务页面介绍 Hadoop日志聚合页面： Spark日志聚合页面： 在能查看Hadoop、Spark日志聚合页面的基础上，目标实现通过YARN页面跳转查看Hadoop、Spark历史任
spark java 日志打印,Spark local模式自定义日志输出
weixin_42134168的博客
03-11 1322
Spark每个任务输出一次日志文件版本信息:spark-2.4.3hadoop-2.6.4前些天在解决spark local模式的日志输出问题，需要每次执行一次spark作业就把该次作业的日志输出到一个日志文件中，这里记录下，分享下实现过程以及踩的坑;先自定义一个FileAppender,如下:package com.demo.util;import org.apache.log4j.FileAp...
spark2.3的配置文件log4j.properties
06-07
spark2.3的配置文件log4j.properties，修改部分是为了只显示ERROR信息，隐藏INFO信息
Spark的日志配置
weixin_34187862的博客
03-10 68
在測试spark计算时。将作业提交到yarn（模式–master yarn-cluster）上，想查看print到控制台这是imposible的。由于作业是提交到yarn的集群上，so 去yarn集群上看日志是非常麻烦的，但有特别想看下print的信息，方便调试或者别的目的 在Spark的conf文件夹下，把log4j.properties.template改动为log4j...
spark查看日志
最新发布
言之。
06-26 3万+
当 Spark 任务已经提交到集群运行后，可以通过以下几种方式查看/tmp/logs/
配置spark日志
weixin_41877582的博客
10-26 520
spark.yarn.app.container.log.dir = /opt/install/spark-2.3.0/logs log4j.rootLogger=INFO, file log4j.appender.file=org.apache.log4j.RollingFileAppender log4j.appender.file.append=true log4j.appender.file.file=${spark.yarn.app.container.log.dir}/spark.log log
spark日志配置及问题排查方式。
weixin_33950035的博客
10-31 439
此文已由作者岳猛授权网易云社区发布。欢迎访问网易云社区，了解更多网易技术产品运营经验。任何时候日志都是定位问题的关键，spark也不会例外，合适的配置和获取spark的driver，am，及executor日志将会提升问题定位的效率，这里初步整理了spark的一些配置，更好的日志配置还需要根据实际的情况。1）dirver日志的配置，可以通过spark.driver.extraJavaOptions...
java提交spark任务到yarn平台的配置讲解共9页.pdf.zip
10-28
在提交Spark任务前，需要配置Spark的相关属性，如`spark.master`设置为`yarn-client`或`yarn-cluster`，前者用于客户端模式，后者用于集群模式。此外，还需指定Hadoop的配置目录，例如`spark.yarn.conf.archive`。 ...
java提交spark任务到yarn平台的配置讲解共9页
11-21
总结，将Java编写的Spark任务提交到YARN平台涉及环境配置、应用编写、打包、提交以及后续的监控和优化。理解这些步骤和相关配置对于高效运行大规模Spark任务至关重要。在实际操作中，还需要根据具体环境和需求进行...
Spark SQL 日志处理实战，日志文件20000行
12-16
在大数据领域，日志分析是一个常见的任务，用于监控系统行为、诊断问题或提取有价值的信息。 首先，我们需要理解日志文件的结构。日志通常由各种事件构成，每个事件包含时间戳、事件类型、源IP、用户ID等信息。这些...
spark深入：配置文件与日志
weixin_30252155的博客
06-23 235
一、第一部分 1、spark2.1与hadoop2.7.3集成，spark on yarn模式下，需要对hadoop的配置文件yarn-site.xml增加内容，如下： <property> <name>yarn.log-aggregation-enable</name> <value>true</v...
Spark运行日志的配置
无名虫博客
02-16 1720
生产上作业运行日志务必要保存下来，以防出现错误无法排查 官网关于日志监控的说明： You can access this interface by simply opening http://:4040 in a web browser. If multiple SparkContexts are running on the same host, they will bind to succes...
Spark历史日志服务器配置
ThisisWilli
11-24 1054
Spark历史日志服务器配置 配置存放历史日志的路径 在客户端中[root@node04 spark-2.3.1]# cd conf/ [root@node04 conf]# vim spark-defaults.conf，进行配置，注意hdfs的端口，如果存放日志的端口配置错误，那么在使用spark-shell提交任务时，会有连接异常java.net.ConnectException s...
spark6. 如何设置spark 日志
笔生花的博客
09-13 1450
本文只讲解再yarn 模式下的日志配置。
spark设置日志级别的4种方式
炼数成器
10-31 6105
建立用户画像首先需要建立数据仓库，用于存储用户标签数据。Hive是基于Hadoop的数据仓库工具，依赖于HDFS存储数据，提供的SQL语言可以查询存储在HDFS中的数据。开发时一般使用Hive作为数据仓库，存储标签和用户特征库等相关数据。 “数据仓库之父” W.H.Inmon 在《Building the Data Warehouse》一书中定义数据仓库是“一个面向主题的、集成的、非易失的、随时间变化的、用来支持管理人员决策的数据集合”。 面向主题：业务数据库中的数据主要针对事务处理...
spark中打印gc日志的方法
lxlneversettle的博客
05-01 3334
spark中打印gc日志的方法 在使用spark-submit提交应用的时候，加上下面的参数 ---conf "spark.executor.extraJavaOptions=-verbose:gc -XX:+PrintGCDetails" 上面是开启executor上gc信息的打印，如果想要打印driver上的gc信息，更换为下面的参数 --conf "spark.driver.extraJ...
【持续更新】Spark Submit命令 配置参数详解
weixin_42151880的博客
11-10 6236
spark submit 参数
hue 提交spark任务
11-07
提交Spark任务有多种方法，其中最常用的方法是通过spark-submit命令行工具来提交任务。 首先需要将Spark安装和配置好，确保Spark环境能够正常运行。然后，可以通过以下命令来提交任务： ```shell $ spark-submit --class <main-class> --master <master-url> --deploy-mode <deploy-mode> <application-jar> [application-arguments] ``` 其中，`<main-class>`指定了Spark应用程序的主类；`<master-url>`指定了Spark应用程序要连接的集群的URL；`<deploy-mode>`指定了应用程序的运行模式，可以选择为`client`或者`cluster`；`<application-jar>`指定了打包好的应用程序的jar包路径；`[application-arguments]`是可选的应用程序参数。 在Hue中提交Spark任务，可以通过以下步骤实现： 1. 在Hue的首页上点击"Spark"菜单。 2. 在Spark页面中，点击"New Job"按钮。 3. 在"Job Configuration"页面中，填写任务的相关信息，包括任务名称、主类、Jar文件路径、Spark参数等。 4. 点击"Save"按钮保存配置。 5. 回到Spark页面，点击"Run Job"按钮来提交任务。 通过以上步骤，就可以在Hue中提交Spark任务了。在任务运行完成后，可以查看任务的运行日志和结果。 除了使用Hue，也可以在命令行中直接使用`spark-submit`命令来提交Spark任务。使用Hue提交Spark任务更加方便和易用，可以在Web界面上完成任务的配置和提交，无需手动输入命令和参数。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值