HADOOP 日志聚集和ResourceManager日志

Application在yarn上跑时  会分成ResourceMangager日志和 NodeManger(Container)日志
在yarn上跑，在启动yarn或者hadoop后不要删除日志文件，否则日志无法写入日志文件

在没有设置日志聚集的时候
ResourceManger日志在Master机子上，文件为yarn-{User}-resourcemanager-Master.log
在slave上跑的Application，日志写在slave机子上logs/userlogs/{applicationId}/{containerId}/stderr(stdout)

在设置日志聚集后

<property>
                <name>yarn.log-aggregation-enable</name>
                <value>true</value>
        </property>

value=true为日志聚集，value=false为日志不聚集
ResourceManger日志在Master机子上，文件为yarn-{User}-resourcemanager-Master.log(同没有聚集的日志)
在slave上跑的Application，日志写在HDFS上/tmp/logs/{user}//logs/{applicationId}/{slave1\slave2}

设置spark  WEBUI地址../spark/conf/spark-env.sh/