如何查看Hadoop运行过程中产生日志

最新推荐文章于 2022-03-15 02:27:58 发布
最新推荐文章于 2022-03-15 02:27:58 发布
阅读量830 收藏
点赞数
分类专栏： Hadoop 文章标签： hadoop mapreduce hadoop调试日志位置
[b][color=green][size=large]用hadoop也算有一段时间了，一直没有注意过hadoop运行过程中，产生的数据日志，比如说System打印的日志，或者是log4j，slf4j等记录的日志，存放在哪里，日志信息的重要性，在这里散仙就不用多说了，调试任何程序基本上都得需要分析日志。

hadoop的日志主要是MapReduce程序，运行过程中，产生的一些数据日志，除了系统的日志外，还包含一些我们自己在测试时候，或者线上环境输出的日志，这部分日志通常会被放在userlogs这个文件夹下面，我们可以在mapred-site.xml里面配置运行日志的输出目录，散仙测试文件内容如下:
[/size][/color][/b] 
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
<!-- jobtracker的master地址-->
<property> 
<name>mapred.job.tracker</name> 
<value>192.168.75.130:9001</value> 
</property>
<property>
<!-- hadoop的日志输出指定目录-->
<name>mapred.local.dir</name>
<value>/root/hadoop1.2/mylogs</value>
</property>
</configuration>


[b][color=olive][size=large]配置好，日志目录后，我们就可以把这个配置文件，分发到各个节点上，然后启动hadoop。
下面我们看来下在eclipse环境中如何调试，散仙在setup，map和reduce方法中，分别使用System打印了一些数据，当我们使用local方式跑MR程序时候，日志并不会被记录下来，而是直接会在控制台打印，散仙的测试代码如下：[/size][/color][/b] 
package com.qin.testdistributed;

import java.io.File;
import java.io.FileReader;
import java.io.IOException;
import java.net.URI;
import java.util.Scanner;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.filecache.DistributedCache;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapred.JobConf;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.db.DBConfiguration;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.log4j.pattern.LogEvent;

import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

import com.qin.operadb.WriteMapDB;


/**
 * 测试hadoop的全局共享文件
 * 使用DistributedCached
 * 
 * 大数据技术交流群： 37693216
 * @author qindongliang
 * 
 * ***/
public class TestDistributed {


	private static Logger logger=LoggerFactory.getLogger(TestDistributed.class);





	private static class FileMapper extends Mapper<LongWritable, Text, Text, IntWritable>{

	     	Path path[]=null;

		/**
		 * Map函数前调用
		 * 
		 * */
		@Override
		protected void setup(Context context)
				throws IOException, InterruptedException {
		  logger.info("开始启动setup了哈哈哈哈");
		    // System.out.println("运行了.........");
		  Configuration conf=context.getConfiguration();
		   path=DistributedCache.getLocalCacheFiles(conf);
	       System.out.println("获取的路径是：  "+path[0].toString());
	     //  FileSystem fs = FileSystem.get(conf);
	       FileSystem fsopen= FileSystem.getLocal(conf);
	      // FSDataInputStream in = fsopen.open(path[0]);
	      // System.out.println(in.readLine());
//	       for(Path tmpRefPath : path) {
//	           if(tmpRefPath.toString().indexOf("ref.png") != -1) {
//	               in = reffs.open(tmpRefPath);
//	               break;
//	           }
//	       }

     // FileReader reader=new FileReader("file://"+path[0].toString());
//      File f=new File("file://"+path[0].toString());
      // FSDataInputStream in=fs.open(new Path(path[0].toString()));
//	     Scanner scan=new Scanner(in);
//	       while(scan.hasNext()){
//	    	   System.out.println(Thread.currentThread().getName()+"扫描的内容:  "+scan.next());
//	       }
//	       scan.close();
//		
		// System.out.println("size: "+path.length);


		}


		@Override
		protected void map(LongWritable key, Text value,Context context)
				throws IOException, InterruptedException {

		//	System.out.println("map    aaa");
			//logger.info("Map里的任务");
			System.out.println("map里输出了");
		//	logger.info();
			context.write(new Text(""), new IntWritable(0));


		}


		 @Override
		protected void cleanup(Context context)
				throws IOException, InterruptedException {


			 logger.info("清空任务了。。。。。。");
		}

	}


	private static class  FileReduce extends Reducer<Object, Object, Object, Object>{


		@Override
		protected void reduce(Object arg0, Iterable<Object> arg1,
				 Context arg2)throws IOException, InterruptedException {


			System.out.println("我是reduce里面的东西");
		}
	}



	public static void main(String[] args)throws Exception {


		JobConf conf=new JobConf(TestDistributed.class);
		//conf.set("mapred.local.dir", "/root/hadoop");
		 //Configuration conf=new Configuration();

	    // conf.set("mapred.job.tracker","192.168.75.130:9001");
		//读取person中的数据字段
	  	   //conf.setJar("tt.jar");

		//注意这行代码放在最前面，进行初始化，否则会报
		 String inputPath="hdfs://192.168.75.130:9000/root/input";	    
		 String outputPath="hdfs://192.168.75.130:9000/root/outputsort";

		Job job=new Job(conf, "a");
		DistributedCache.addCacheFile(new URI("hdfs://192.168.75.130:9000/root/input/f1.txt"), job.getConfiguration());
		job.setJarByClass(TestDistributed.class);
		System.out.println("运行模式：  "+conf.get("mapred.job.tracker"));
		/**设置输出表的的信息  第一个参数是job任务，第二个参数是表名，第三个参数字段项**/
	   FileSystem fs=FileSystem.get(job.getConfiguration());

		  Path pout=new Path(outputPath);
		  if(fs.exists(pout)){
			  fs.delete(pout, true);
			  System.out.println("存在此路径, 已经删除......");
		  } 
		 /**设置Map类**/
		// job.setOutputKeyClass(Text.class);
		 //job.setOutputKeyClass(IntWritable.class);
		  job.setMapOutputKeyClass(Text.class);
		  job.setMapOutputValueClass(IntWritable.class);
		 job.setMapperClass(FileMapper.class);
	     job.setReducerClass(FileReduce.class);
		 FileInputFormat.setInputPaths(job, new Path(inputPath));  //输入路径
         FileOutputFormat.setOutputPath(job, new Path(outputPath));//输出路径  

		System.exit(job.waitForCompletion(true) ? 0 : 1);  



	}




}

[b][color=green][size=large]Local模式下输出如下：[/size][/color][/b] 
运行模式：  local
存在此路径, 已经删除......
WARN - NativeCodeLoader.<clinit>(52) | Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
WARN - JobClient.copyAndConfigureFiles(746) | Use GenericOptionsParser for parsing the arguments. Applications should implement Tool for the same.
WARN - JobClient.copyAndConfigureFiles(870) | No job jar file set.  User classes may not be found. See JobConf(Class) or JobConf#setJar(String).
INFO - FileInputFormat.listStatus(237) | Total input paths to process : 1
WARN - LoadSnappy.<clinit>(46) | Snappy native library not loaded
INFO - TrackerDistributedCacheManager.downloadCacheObject(423) | Creating f1.txt in /root/hadoop1.2/hadooptmp/mapred/local/archive/9070031930820799196_1788685676_88844454/192.168.75.130/root/input-work-186410214545932656 with rwxr-xr-x
INFO - TrackerDistributedCacheManager.downloadCacheObject(463) | Cached hdfs://192.168.75.130:9000/root/input/f1.txt as /root/hadoop1.2/hadooptmp/mapred/local/archive/9070031930820799196_1788685676_88844454/192.168.75.130/root/input/f1.txt
INFO - TrackerDistributedCacheManager.localizePublicCacheObject(486) | Cached hdfs://192.168.75.130:9000/root/input/f1.txt as /root/hadoop1.2/hadooptmp/mapred/local/archive/9070031930820799196_1788685676_88844454/192.168.75.130/root/input/f1.txt
INFO - JobClient.monitorAndPrintJob(1380) | Running job: job_local479869714_0001
INFO - LocalJobRunner$Job.run(340) | Waiting for map tasks
INFO - LocalJobRunner$Job$MapTaskRunnable.run(204) | Starting task: attempt_local479869714_0001_m_000000_0
INFO - Task.initialize(534) |  Using ResourceCalculatorPlugin : null
INFO - MapTask.runNewMapper(729) | Processing split: hdfs://192.168.75.130:9000/root/input/f1.txt:0+31
INFO - MapTask$MapOutputBuffer.<init>(949) | io.sort.mb = 100
INFO - MapTask$MapOutputBuffer.<init>(961) | data buffer = 79691776/99614720
INFO - MapTask$MapOutputBuffer.<init>(962) | record buffer = 262144/327680
INFO - TestDistributed$FileMapper.setup(57) | 开始启动setup了哈哈哈哈
获取的路径是：  /root/hadoop1.2/hadooptmp/mapred/local/archive/9070031930820799196_1788685676_88844454/192.168.75.130/root/input/f1.txt
map里输出了
map里输出了
INFO - TestDistributed$FileMapper.cleanup(107) | 清空任务了。。。。。。
INFO - MapTask$MapOutputBuffer.flush(1289) | Starting flush of map output
INFO - MapTask$MapOutputBuffer.sortAndSpill(1471) | Finished spill 0
INFO - Task.done(858) | Task:attempt_local479869714_0001_m_000000_0 is done. And is in the process of commiting
INFO - LocalJobRunner$Job.statusUpdate(466) | 
INFO - Task.sendDone(970) | Task 'attempt_local479869714_0001_m_000000_0' done.
INFO - LocalJobRunner$Job$MapTaskRunnable.run(229) | Finishing task: attempt_local479869714_0001_m_000000_0
INFO - LocalJobRunner$Job.run(348) | Map task executor complete.
INFO - Task.initialize(534) |  Using ResourceCalculatorPlugin : null
INFO - LocalJobRunner$Job.statusUpdate(466) | 
INFO - Merger$MergeQueue.merge(408) | Merging 1 sorted segments
INFO - Merger$MergeQueue.merge(491) | Down to the last merge-pass, with 1 segments left of total size: 16 bytes
INFO - LocalJobRunner$Job.statusUpdate(466) | 
我是reduce里面的东西
INFO - Task.done(858) | Task:attempt_local479869714_0001_r_000000_0 is done. And is in the process of commiting
INFO - LocalJobRunner$Job.statusUpdate(466) | 
INFO - Task.commit(1011) | Task attempt_local479869714_0001_r_000000_0 is allowed to commit now
INFO - FileOutputCommitter.commitTask(173) | Saved output of task 'attempt_local479869714_0001_r_000000_0' to hdfs://192.168.75.130:9000/root/outputsort
INFO - LocalJobRunner$Job.statusUpdate(466) | reduce > reduce
INFO - Task.sendDone(970) | Task 'attempt_local479869714_0001_r_000000_0' done.
INFO - JobClient.monitorAndPrintJob(1393) |  map 100% reduce 100%
INFO - JobClient.monitorAndPrintJob(1448) | Job complete: job_local479869714_0001
INFO - Counters.log(585) | Counters: 18
INFO - Counters.log(587) |   File Output Format Counters 
INFO - Counters.log(589) |     Bytes Written=0
INFO - Counters.log(587) |   File Input Format Counters 
INFO - Counters.log(589) |     Bytes Read=31
INFO - Counters.log(587) |   FileSystemCounters
INFO - Counters.log(589) |     FILE_BYTES_READ=454
INFO - Counters.log(589) |     HDFS_BYTES_READ=124
INFO - Counters.log(589) |     FILE_BYTES_WRITTEN=138372
INFO - Counters.log(587) |   Map-Reduce Framework
INFO - Counters.log(589) |     Map output materialized bytes=20
INFO - Counters.log(589) |     Map input records=2
INFO - Counters.log(589) |     Reduce shuffle bytes=0
INFO - Counters.log(589) |     Spilled Records=4
INFO - Counters.log(589) |     Map output bytes=10
INFO - Counters.log(589) |     Total committed heap usage (bytes)=455475200
INFO - Counters.log(589) |     Combine input records=0
INFO - Counters.log(589) |     SPLIT_RAW_BYTES=109
INFO - Counters.log(589) |     Reduce input records=2
INFO - Counters.log(589) |     Reduce input groups=1
INFO - Counters.log(589) |     Combine output records=0
INFO - Counters.log(589) |     Reduce output records=0
INFO - Counters.log(589) |     Map output records=2

[b][color=olive][size=large]下面，我们将程序，提交成hadoop集群上运行进行测试，注意在集群上运行，日志信息就不会在控制台显示了，我们需要去自己定义的日志目录下，找到最新提交 的那个下，然后就可以查看我们的日志信息了。[/size][/color][/b]
[img]http://dl2.iteye.com/upload/attachment/0095/4810/112d1bb4-36d5-3733-899b-934cc59fa929.jpg[/img]

[img]http://dl2.iteye.com/upload/attachment/0095/4812/1a57f7b0-1c7a-3be3-8920-4a1658d0a67f.jpg[/img]
[b]查看stdout里面的内容如下：[/b] 
获取的路径是：  /root/hadoop1.2/mylogs/taskTracker/distcache/2726204645197711229_1788685676_88844454/192.168.75.130/root/input/f1.txt
map里输出了
map里输出了

[b][color=green][size=large]注意，map里面的日志需要去xxxmxxx和xxxrxxx里面去找：[/size][/color][/b]

[img]http://dl2.iteye.com/upload/attachment/0095/4814/cbe54381-723a-3af1-ae1f-711f498f1420.jpg[/img]
[b][color=green][size=large]当然，除了这种方式外，我们还可以直接通过50030端口在web页面上进行查看，截图示例如下：[/size][/color][/b]

[img]http://dl2.iteye.com/upload/attachment/0095/4818/ce2d53c0-29ea-3b72-9281-2e414c1c1345.jpg[/img]

[img]http://dl2.iteye.com/upload/attachment/0095/4820/04f0624b-3812-397c-b791-95f68547eed8.jpg[/img]
[img]http://dl2.iteye.com/upload/attachment/0095/4822/b0f48193-9b97-34ff-8b17-9db492edb86d.jpg[/img]

[img]http://dl2.iteye.com/upload/attachment/0095/4824/09596048-4e8b-38ad-a022-406b78c6caf2.jpg[/img]

[img]http://dl2.iteye.com/upload/attachment/0095/4826/cc620cd2-49bc-363b-90f3-8b38ce57433d.jpg[/img]
[b][color=green][size=large]至此，我们已经散仙已经介绍完了，这两种方式，Hadoop在执行过程中，日志会被随机分到任何一台节点上，我们可能不能确定本次提交的任务日志输出到底放在那里，但是我们可以通过在50030的web页面上，查看最新的一次任务，一般是最下面的任务，是最新提交的，通过页面上的连接我们就可以，查看到具体的本次任务的日志情况被随机分发到那个节点上了，然后就可以去具体的 节点上获取了。
[/size][/color][/b]
三劫散仙
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop13：【案例】MapReduce任务日志查看
weixin_40612128的博客
03-01 4243
在上一篇中介绍了MapReduce进行单词计数的案例，这一章介绍下怎么查看MapReduce的任务日志。 如果想要查看mapreduce任务执行过程产生的日志信息怎么办呢？ 是不是在提交任务的时候直接在这个控制台上就能看到了？先不要着急，我们先在代码中增加一些日志信息，在实际工作中做调试的时候这个也是很有必要的 一、syout日志输出 1、mapper类修改 在自定义mapper类的map函数中增加一个输出，将k1,v1的值打印出来 添加内容如下： mapper类修改后代码如下： public stati
深入剖析Hadoop程序日志
08-21 2984
  前提 本文来自于 博客园 逖靖寒的世界 http://gpcuster.cnblogs.com 了解log4j的使用。   正文 本文来自于 博客园 逖靖寒的世界 http://gpcuster.cnblogs.com *.log日志文件和*.out日志文件 进入我们的Hadoop_LOG目录，我们可以看到如下文件：   在启动Hadoop集群时，由hadoop-
Hadoop2.9下运行JAR包时System.out.println的输出日志
03-19 809
根据博文——Hadoop日志存放路径详解中所述，Container日志包含ApplicationMaster日志和普通Task日志（关于其他类型的日志的详细说明请参考该博文，本文不再赘述） 所以可知，System.out.println的输出日志是属于Mapreduce程序的Container日志的普通Task日志 以下配置均在yarn-site.xml中，可在官网上查看默认配...
shell小工具查看Hadoop中System.out输出的日志
weixin_34177064的博客
05-17 122
#!/bin/bashrm ~/log.logecho "Please Input JobID:"read NAMEmap_log="/home/grid/hadoop-1.2.1/logs/userlogs/${NAME}/attempt_${NAME#*job_}_m_000000_0/stdout"red_log="/home/grid/hadoop-1.2.1/logs/userlogs/...
使用hadoop api获取任务日志（续）
小么飞刀的博客
05-16 756
使用hadoop api获取任务日志 在上一篇文章写到了如何使用hadoop api获取任务日志，只是最后贴出了日志输出的内容，没有写清楚到底如何输出日志。最近有小伙伴私信我如何输出日志，通过这篇文章进行一个补充，有不明白的地方可以私信或者留言。如果没有及时回复，可以添加我的微信。 @Test public void printLog() throws IOException { //假设我们已经通过其他的方式拿到了applicationId 一般都是通过livy 提供的rest a
hadoop中文乱码问题
08-09
例如，使用Hadoop命令行执行`hadoop fs -cat`查看文件内容时，如果文件不是UTF-8编码，可以通过`iconv`工具先转换编码再查看。 6. **源码分析**： 对于开发者来说，深入理解Hadoop源码有助于找出乱码的根源。可以...
基于Hadoop集群的分布式日志分析系统研究
08-19
- **分析访问趋势**：通过分析日志中的时间戳，可以识别高峰时段和低谷时段。 - **错误分析**：对响应状态码进行分类统计，可以找出常见的错误类型及其原因。 在具体实现过程中，首先需要对日志数据进行预处理，将...
在Yarm上查看正在运行中任务的日志信息.docx
05-20
用户可以通过日志页面查看任务的执行过程，了解任务的执行情况，从而排除故障。 知识点 7：Yarn 中的日志管理 Yarn 中的日志管理是指 Yarn 中对日志信息的管理和存储。Yarn 负责将任务的日志信息存储在 HDFS 中，...
hadoop/bin/hadoop.dll
04-25
5. **错误日志分析**：查看安装过程或Hadoop启动时产生的错误日志，这些信息可能提供关于为什么需要这个DLL文件的线索。 6. **使用兼容性模式**：如果可能，尝试以兼容模式运行Hadoop，或者使用如cygwin这样的模拟...
hadoop日志
夏中海
10-15 548
1.日志的配置完善 进入Hadoop的安装目录的logs的目录这个目录中记录的是yarn集群的进程的日志信息。在目录/opt/hadoop-2.6.0/logs下记录的是dfs各个进程的日志信息，日志信息的格式是框架名称+用户名+进程名+日志后缀 其中以.log结尾的是log4j记录的日志，主要记录了各个进程启动成功和失败的信息，查个这个日志我们就可以分析哪个进程成功启动了，哪个失败了
Hadoop之WEBUi界面功能介绍及日志配置查看
影子
03-15 7494
启动Hadoop服务器 sbin/start-all.sh 浏览器访问 http:// hadoop-senior01.test.com:8088 Cluster Metrics：集群指标 apps（提交、排队、运行、完成） Containers：容器数 Memory：（使用的内存、总共内存、剩余内存） VCores（CPU虚拟内核书）：（使用的、总共的，剩余的） Cluster Nodes Metrics:集群节点指标 activenode：正在运行的 decommissi...
Hadoop 查看日志文件
Mercury_Lc的博客
10-29 7460
在搭建高可用 Hadoop 集群中因为一些节点会“无故”挂掉，很多的原因都需要在日志中查看原因，这里列举一些可能出错的服务的日志： 日志文件的默认存放位置在 ${HADOOP_HOME}/logs 下。 进入到此目录下，可以看到有关于 HDFS 和 YARN 的相关服务的日志文件，其中常用就是 nodemananger、resourcemanager、namenode、datanode等。 ...
如何查看hadoop程序中自己添加的日志
Java海洋
09-29 1万+
用hadoop也算有一段时间了，一直没有注意过hadoop运行过程中，产生的数据日志，比如说System打印的日志，或者是log4j，slf4j等记录的日志，存放在哪里，日志信息的重要性，在这里散仙就不用多说了，调试任何程序基本上都得需要分析日志。  hadoop的日志主要是MapReduce程序，运行过程中，产生的一些数据日志，除了系统的日志外，还包含一些我们自己在测试时候，或者线上环境输
hadoop job 的container日志的查看
热门推荐
Aidon博客
04-11 2万+
一般有几个地方可以查看：1、通过本地日志目录查看对应container日志文件，默认在hadoop的安装目录下的/logs/userlogs/：直接用查看文件命令查看即可该地方的应用运行日志不一定最全,因为任务运行日志由每一个NM产生在本地，然后再给聚合到文件系统中(配置聚合日志功能)。2、浏览器查看,默认在/yarn/logs/${user}/logs：需要找对应的applicationId，甚...
017_查看Hadoop 日志以及日志的格式
君子不器
01-19 543
root@redhat5 bin]# pwd /gaozhen/hadoop-1.2.1/bin [root@redhat5 bin]# cd .. [root@redhat5 hadoop-1.2.1]# ls bin                      hadoop-examples-1.2.1.jar     logs build.xml                had
Hadoop日志到底存在哪里？
我爱大海V5的专栏
02-10 1379
http://dongxicheng.org/mapreduce-nextgen/hadoop-logs-placement/ 初学者运行MapReduce作业时，经常会遇到各种错误，由于缺乏经验，往往不知所云，一般直接将终端打印的错误贴到搜索引擎上查找，以借鉴前人的经验。然而，对于hadoop而言，当遇到错误时，第一时间应是查看日志，日志里通产会有详细的错误原因提示，本文将总结Hadoop
linux 查看hadoop日志文件,如何查看Hadoop运行过程中产生日志？
weixin_35971708的博客
05-02 1462
HadoopHDFS只有服务日志，与Hadoop MapReduce的服务日志类似；Hadoop MapReduce日志分为两部分，一部分是服务日志，一部分是作业日志，具体介绍如下：1. Hadoop 1.x版本Hadoop 1.x中MapReduce的服务日志包括JobTracker日志和各个TaskTracker日志，他们的日志位置如下(Web界面也可查看其日志，地址http://主节点IP...
深入理解Hadoop MapReduce开发
此外，课程还会通过实际案例，如手机上网流量分析、商品条目处理和日志分析，来展示MapReduce在实际业务场景中的应用，帮助开发者理解和掌握如何利用Hadoop处理复杂的数据问题。 在Hadoop集群拓扑图中，通常包括...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值