![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
croder
这个作者很懒,什么都没留下…
展开
-
使用hadoop api获取任务日志(续)
使用hadoop api获取任务日志在上一篇文章写到了如何使用hadoop api获取任务日志,只是最后贴出了日志输出的内容,没有写清楚到底如何输出日志。最近有小伙伴私信我如何输出日志,通过这篇文章进行一个补充,有不明白的地方可以私信或者留言。如果没有及时回复,可以添加我的微信。@Test public void printLog() throws IOException { //假设我们已经通过其他的方式拿到了applicationId 一般都是通过livy 提供的rest a原创 2020-05-16 10:58:10 · 765 阅读 · 3 评论 -
使用hadoop api获取任务日志
使用hadoop api获取任务日志正常情况下我们可以通过开启日志聚合在yarn webUi上查看任务日志,但是当我们需要定制日志呈现方式时就需要使用到hadoop提供的api来获取。以下为demo。引入依赖 <dependency> <groupId>org.apache.hadoop</groupId> ...原创 2020-04-28 22:27:59 · 1746 阅读 · 0 评论 -
Failed while trying to construct the redirect url to the log server
问题现象hadoop yarn的web ui上查看job执行日志报错:问题分析出现这个现象有两个原因:一、没有在mapred-site.xml中配置jobhistory访问地址:<property> <name>mapreduce.jobhistory.address</name> <value>192.168.2.177...原创 2020-04-04 18:20:53 · 406 阅读 · 0 评论