关于MapReduce中日志不打印问题调查

最新推荐文章于 2021-10-14 00:27:40 发布
最新推荐文章于 2021-10-14 00:27:40 发布
阅读量316 收藏
点赞数
文章标签： 问题记录
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yanda_guangdianzi/article/details/101342758
版权

map-reduce项目中依赖了其他的项目，而这些项目有的使用了log4j的架构，有的使用了log4j2的架构，导致在hadoop client提交任务后无法显示进度信息，给调试带来困扰。

为了解决这一问题，先尝试了将log4j升级到log4j2，后来发现hadoop中使用的是log4j，日志还是没有打印出来，退而求其次，我通过修改依赖包的代码，将log4j2降级为log4j，终于可以实现日志的正常打印~~~~~

不过这种方法只试用与依赖包为我可控制的情形，要是依赖第三方的包，就不好整了，有哪位大神遇到过此情况，可以分享一下吗？

yanda_guangdianzi
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
关于编写mapreduce程序时，不打印日志信息的解决方法
qq_41371858的博客
03-29 1196
将该方法插入到main函数中，可以自行打印日志信息了 BasicConfigurator.configure(); //自动快速地使用缺省Log4j环境。 然后测试程序没有问题： BUT 虽然日志信息打印出来了 可是配置的问题其实还是没有解决 ...
Myecilipse远程运行mapreduce运行日志不显示解决方法
qq_39923024的博客
11-20 412
使用myeclipse开发hadoop的mapreduce运行日志不全，会给我们的开发造成很大的困扰， 1、看不到一些运行逻辑的错误。导致不能远程拍错，只能打成jar包放到集群拍错。 2、看不到详细的运行日志过程，给我们一种困扰，到底程序运行完没有，是正确还是错误。 且看本人如何解决： 归根揭底这是log4j的问题， log4j:WARN No appenders could be found f...
在cron运行hive时，无法打出mapreduce日志
weixin_34133829的博客
06-30 127
本身我是这么运行的： 15 1 * * * /data/xx/shells/run.sh >> /data/xx/log/joblog/job.log 发现job.log中，没有打出hive的mapreduce日志来 最后解决办法是： 后边添加2>&1 ，意思是将标准错误输出重定向到标准输出，但是好奇怪，hive日志怎么会是标准错误输出呢...
hadoop集群执行mapreduce程序没有报错但无输出文件/ hadoop sqoop将hdfs数据存到mysql时卡死在map 100% reduce 0%
bb123116的博客
12-24 2188
每个map 和reduce任务的物理内存限制有问题 修改/hadoop安装路径/etc/hadoop/yarn-site.xml文件 添加 <property> <name>yarn.nodemanager.resource.memory-mb</name> <value>22528</value> </property> <property> <
hadoop的日志主要是MapReduce程序
tfy1332的专栏
04-04 5116
用hadoop也算有一段时间了，一直没有注意过hadoop运行过程中，产生的数据日志，比如说System打印的日志，或者是log4j，slf4j等记录的日志，存放在哪里，日志信息的重要性，在这里散仙就不用多说了，调试任何程序基本上都得需要分析日志。  hadoop的日志主要是MapReduce程序，运行过程中，产生的一些数据日志，除了系统的日志外，还包含一些我们自己在测试时候，或者线上环境输
MapReduce编程模型在日志分析方面的应用
03-02
本文将以对访问网页用户的日志进行分析，进而挖掘出用户兴趣点这一完整流程为例，详尽解释MapReduce模型的对应实现，涵盖MapReduce编程中对于特殊问题的处理技巧，比如机器学习算法、排序算法、索引机制、连接机制等...
MongoDB中MapReduce的使用方法详解
09-09
MapReduce应该算是MongoDB操作中比较复杂的了，下面这篇文章主要给大家介绍了关于MongoDB中MapReduce使用的相关资料，文中通过示例代码介绍的非常详细，需要的朋友可以参考借鉴，下面随着小编来一起看看吧。
Hadoop中MapReduce框架入门
03-01
MapReduce是一种分布式计算模型，由Google提出，主要用于搜索领域，解决海量数据的计算问题.对于业界的大数据存储及分布式处理系统来说Hadoop2提出的新MapReudce就是YARN:...
Flume日志收集与MapReduce模式
07-23
资源名称：Flume日志收集与MapReduce模式资源截图： 资源太大，传百度网盘了，链接在附件中，有需要的同学自取。
MapReduce中文文档翻译
03-13
对Google第一版的mapreduce相关文献进行的翻译。结合了的知秋的相关文章翻译的，不收费
Eclipse中运行MapReduce程序时控制台无法打印进度信息的问题
相信并热爱着
05-26 7736
一般会在控制台上打印以下信息： log4j:WARN No appenders could be found for logger (org.apache.hadoop.util.Shell). log4j:WARN Please initialize the log4j system properly. log4j:WARN See http://logging.apache.org/lo
MapReduce没有打印相关信息
weixin_44385250的博客
10-14 199
MapReduce没有打印相关信息控制台输出显示解决办法12 控制台输出显示 显示Log4信息不全 解决办法 1 在Resource类别文件夹下面创建 log4j.properties 文件 内容如下： log4j.rootLogger=INFO, stdout log4j.appender.stdout=org.apache.log4j.ConsoleAppender log4j.appender.stdout.layout=org.apache.log4j.PatternLayout log4j.a
使用MapReduce对Hadoop下的日志记录进行分析处理
Royi的博客
10-26 2533
一. 简介 MapReduce是一个高性能的批处理分布式计算框架，用于对海量数据进行并行分析和处理。与传统方法相比较，MapReduce更倾向于蛮力去解决问题，通过简单、粗暴、有效的方式去处理海量的数据。通过对数据的输入、拆分与组合（核心），将任务分配到多个节点服务器上，进行分布式计算，这样可以有效地提高数据管理的安全性，同时也能够很好地范围被管理的数据。 mapreduce核心就是map+sh...
mapreduce在控制台打印log4j日志
momo的专栏
09-17 3118
log4j.properties配置如下： log4j.rootLogger=INFO, stdout log4j.appender.stdout=org.apache.log4j.ConsoleAppender log4j.appender.stdout.layout=org.apache.log4j.PatternLayout log4j.appender.stdout.layout.
028_MapReduce中的计数器Counter的使用
weixin_30593261的博客
03-15 110
一、分析运行wordcount程序屏幕上打印信息 ##运行wordcount单词频率统计程序，基于输出输出路径。 [hadoop@hadoop-master hadoop-1.2.1]$ hadoop jar hadoop-examples-1.2.1.jar wordcount /wc/mininput /wc/minoutput ##告知输入路径下有几个文件需要处理 16/03/14 ...
Mapreduce,mapper任务无输出以及相关问题解决，日志的正确用法
a284365的博客
10-14 5657
问题提出 在执行MR任务时，mapper和reducer都正常运行，但是hdfs输出文件为空。（任务是关于MR执行排序任务的） 数据如下： 排查经历 1.查看core-site.xml是不是路径(hadoop.tmp.dir属性)配置错误了，导致数据放错了位置。然而 不是 2.因为没有报错**（输出空文件之前遇到过ArrayIndexOutOfBoundsException->数组越界的错误，解决也很简单：加上判断语句 。其实当时是有些怀疑是不是读取数据错误了，但是考虑可能是最后一行空值数据可能被读
mapreduce程序日志打印配置
沙漠的飞鱼
07-31 2509
1.在maven依赖里添加log4j<dependency> <groupId>log4j</groupId> <artifactId>log4j</artifactId> <version>1.2.17</version> </dependency>2.配置 log4j.properties 文件（在Src->resources 中新建 log4j.properties）log4j.appende
Hadoop 2.6 日志文件和MapReduce的log文件研究心得
热门推荐
infovisthinker的专栏
04-29 1万+
学习演练Hadoop 2.6有一段日子了。现在才大致搞清楚了系统里面各个log的位置和功能，在这里总结一下。网上的资料并不丰富，甚至Google出来的结果也不是很满意，或许这个是太简单了，牛人都不屑来写。也可能是各个公司藏着掖着的东西。 Hadoop 2.6包含两个大部分：DFS和Yarn，而Yarn里面又包含在Resource Manager的JVM中运行的部分和在Node Manag
IDEA 本地运行mapreduce程序不打印日志问题
Cui_maoxin的博客
04-24 1213
这里写目录标题一、问题描述二、产生原因三、解决办法 一、问题描述 使用idea运行mapreduce程序后，虽然程序运行成功，但在控制台不打印相关的日志信息，而是出现如下的log4j警告 log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory). log4j:WARN Please initialize the log4j system properly.
wordcount案例中找不到mapreduce路径
最新发布
01-04
在WordCount案例中找不到MapReduce路径可能有几个原因。首先，可能是因为Hadoop环境没有正确地设置。在Hadoop环境中，MapReduce路径是...通常来说，通过这些方法就可以解决WordCount案例中找不到MapReduce路径的问题。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值