spark java 日志打印,通过记录器的Java Spark应用程序日志未显示在EMR日志中

我有一个在EMR上运行的Spice Java应用程序。当我试图运行SCAPLE作业本地登录到EMR EC2实例时,我从控制台上的Java应用程序获取日志记录信息。

/usr/lib/spark/bin/spark-submit --class com.myproject.MyMainSparkClass --conf 'spark.driver.extraJavaOptions=-Dcong.parameters=somepropertiesparameter' --conf 'spark.executor.extraJavaOptions=-Dcong.parameters=somepropertiesparameter' --master local s3://myJarS3Location/myjar.jar

在控制台上我的日志信息:

19/05/29 01:50:11 INFO DataTransforFileProcessUtility: ############ Job started at :2019-05-29 01:50:11.391 ############

当我使用群集模式时:

/usr/lib/spark/bin/spark-submit --deploy-mode cluster --master yarn --class com.myproject.MyMainSparkClass --conf 'spark.driver.extraJavaOptions=-Dcong.parameters=somepropertiesparameter' --conf 'spark.executor.extraJavaOptions=-Dcong.parameters=somepropertiesparameter' s3://myJarS3Location/myjar.jar

我无法从控制台上的应用程序获取日志记录程序信息。如果我在emr上执行cluster mode命令作为一个步骤,我仍然没有在任何日志文件中找到应用程序记录器信息。如果我们使用yarn在集群模式下运行,应用程序记录器信息会被记录在任何地方吗?