jobserver和日志聚集aggregation

原创 2015年11月17日 17:12:26

jobserver的配置在mapred-site.xml中

<property>
  <name>mapreduce.jobhistory.address</name>
  <value>***:10020</value>

</property>

<property>
  <name>mapreduce.jobhistory.webapp.address</name>
  <value>***:19888</value>
host:port</description>
</property>

<property>
    <name>mapreduce.jobhistory.done-dir</name>
    <value>data/history/done</value>
</property>

<property>
    <name>mapreduce.jobhistory.intermediate-done-dir</name>
    <value>data/history/intermediate-done</value>
</property>

在yarn-site.xml中增加配置打开日志聚集功能

<property>  
    <name>yarn.log-aggregation-enable</name>  
    <value>true</value>  
</property> 

相关文章推荐

多路数组聚集数MultiWay Array Aggregation

这个概念是在看商务智能多维数组 三维数据库  降维计算二维聚集数的过程中出现的 里面计算cache的小区块的过程我没看懂,结合网上的多份文档,我现在有了初步的理解,现在 在blog里写出来,分享给大家...

分布式定时任务框架比较,spring batch, tbschedule jobserver

Spring Batch是一个轻量级的,完全面向Spring的批处理框架,可以应用于企业级大量的数据处理系统。Spring Batch以POJO和大家熟知的Spring框架为基础,使开发者更容易的访问...

「·部署·」安装与使用 Spark-jobServer

Spark-jobserver 提供了一个 RESTful 接口来提交和管理 spark 的 jobs、jars 和 job contexts。这个项目包含了完整的 Spark job server ...
  • lovebyz
  • lovebyz
  • 2017年04月06日 17:33
  • 968

spark-jobserver使用笔记

spark-jobservr 使用

Spark as a Service之JobServer部署

续上一篇Spark as a Service之jobServer部署使用开发者模式来测试,本文正式部署并使用jobserver,当前版本有很多BUG和不完善的地方,期待后续的版本修复。 部署...

Spark as a Service之JobServer初测

spark-jobserver提供了一个用于提交和管理Apache Spark作业(job)、jar文件和作业上下文(SparkContext)的RESTful接口。该项目位于git(https://...

spark-jobserver安装文档

  • 2016年09月06日 11:04
  • 627KB
  • 下载

Spark jobServer搭建+提交作业执行

安装scala根据spark版本,在官网下载对应的unix版tar文件 配置环境变量export PATH="$PATH:/usr/scala-2.10.6/bin"立即生效命令source /et...
  • Nougats
  • Nougats
  • 2017年07月18日 22:53
  • 451

Spark JobServer实例以及上传运行

Spark JobServer实例以及上传运行

jobserver 具体参数设置

Job Server概述 Spark-jobserver 提供了一个 RESTful 接口来提交和管理 spark 的 jobs、jars 和 job contexts。此项目包含了完整的 Sp...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:jobserver和日志聚集aggregation
举报原因:
原因补充:

(最多只允许输入30个字)