1)yarn.log-aggregation-enable:
是否开启日志聚合。日志聚合会在应用程序完成后收集每个容器的日志,并将这些日志移动到文件系统中,例如 HDFS。 用户可以配置“yarn.nodemanager.remote-app-log-dir”和“ yarn.nodemanager.remote-app-log-dir-suffix”属性来确定将这些日志移至何处。 用户可以通过Application Timeline Server访问日志。
2)yarn.nodemanager.remote-app-log-dir:
聚合日志保存路径(HDFS文件系统)
3)yarn.nodemanager.remote-app-log-dir-suffix:
和2)一起组成聚合日志完整保存路径。即聚合日志存放的真正路径是{yarn.nodemanager.remote-app-log-dir}/
u
s
e
r
/
y
a
r
n
.
n
o
d
e
m
a
n
a
g
e
r
.
r
e
m
o
t
e
−
a
p
p
−
l
o
g
−
d
i
r
−
s
u
f
f
i
x
,
默
认
为
/
t
m
p
/
l
o
g
s
/
{user}/{ yarn.nodemanager.remote-app-log-dir-suffix },默认为/tmp/logs/
user/yarn.nodemanager.remote−app−log−dir−suffix,默认为/tmp/logs/{user}/logs。
4)yarn.log-aggregation.retain-seconds:
聚合日志保存时间(默认-1为不删除)
5)yarn.log-aggregation.retain-check-interval-seconds:
聚合日志保存检查间隔时间。两次聚合日志保存检查之间的等待时间。如果设置为0或负值,则该值将被设置为聚合日志保存时间的十分之一。
6)yarn.log.server.url:
自动跳转到的聚合日志的网页地址(jobhistory节点)
7)yarn.nodemanager.log-aggregation.roll-monitoring-interval-seconds:
Nodemanager上传日志文件的间隔时间(默认-1表示在应用运行结束后再上传,最小可被设置为3600s。)
8)yarn.nodemanager.log-dirs:
容器日志本地保存路径
-
默认值为${yarn.log.dir}/userlogs
-
一个应用的本地化日志目录是这样的格式:{ yarn.nodemanager.log-dirs }/application_{appid}
-
一个独立的容器的日志文件夹会在上面的文件夹下,文件夹命名格式是这样:container_${containerid}
-
对于MapReduce的应用,每个容器目录下会包含容器生成的三个文件:stderr,stdin和syslog。
9)yarn.nodemanager.log.retain-seconds:
容器日志保留时间(在聚合日志功能启用后失效)
10)yarn.nodemanager.log.deletion-threads-count:
在Nodemanager中启动多少线程数去删除日志(在聚合日志功能启用后失效)
11)yarn.nodemanager.delete.debug-delay-sec:
应用结束后DeletionService删除日志需等待的时间
To diagnose Yarn application problems, set this property's value large
enough (for example, to 600 = 10 minutes) to permit examination of these
directories. After changing the property's value, you must restart the
nodemanager in order for it to have an effect.
The roots of Yarn applications' work directories is configurable with
the yarn.nodemanager.local-dirs property (see below), and the roots
of the Yarn applications' log directories is configurable with the
yarn.nodemanager.log-dirs property (see also below).
yarn.nodemanager.delete.debug-delay-sec 0