Hadoop的简单控制台log分析

最新推荐文章于 2024-04-09 16:00:14 发布
最新推荐文章于 2024-04-09 16:00:14 发布
阅读量1k 收藏 2
点赞数
分类专栏： hadoop 文章标签： hadoop wordcount


转自：http://blog.masr.in/geek/hadoop_mapreduce_log.html

以一个wordcount为例，详细讲解控制台输出的log信息，并通过改变jobconf的参数观察map reduce行为的变化。


首先把代码贴上来


<span style="background-color: rgb(0, 0, 0);">i</span><span style="background-color: rgb(255, 255, 255);">mport java.io.IOException;
import java.util.StringTokenizer;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;

public class WordCount extends Configured implements Tool {

	public static class TokenizerMapper extends
			Mapper<Object, Text, Text, IntWritable> {

		private final static IntWritable one = new IntWritable(1);
		private Text word = new Text();

		public void map(Object key, Text value, Context context)
				throws IOException, InterruptedException {
			StringTokenizer itr = new StringTokenizer(value.toString());
			while (itr.hasMoreTokens()) {
				String token = itr.nextToken();
				if (token.isEmpty()) {
					continue;
				}
				word.set(token);
				context.write(word, one);
			}
		}
	}

	public static class IntSumReducer extends
			Reducer<Text, IntWritable, Text, IntWritable> {
		private IntWritable result = new IntWritable();

		public void reduce(Text key, Iterable<IntWritable> values,
				Context context) throws IOException, InterruptedException {
			int sum = 0;
			for (IntWritable val : values) {
				sum += val.get();
			}
			result.set(sum);
			context.write(key, result);
		}
	}


	public int run(String[] args) throws Exception {
		Configuration conf = new Configuration();
		String[] otherArgs = new GenericOptionsParser(conf, args)
				.getRemainingArgs();
		if (otherArgs.length != 2) {
			System.err.println("Usage: wordcount <in> <out>");
			System.exit(2);
		}

		Job job = new Job(conf, "word count");
		job.setJarByClass(WordCount.class);
		job.setMapperClass(TokenizerMapper.class);
		job.setCombinerClass(IntSumReducer.class);
		job.setReducerClass(IntSumReducer.class);
		job.setOutputKeyClass(Text.class);
		job.setOutputValueClass(IntWritable.class);
		FileInputFormat.addInputPath(job, new Path(otherArgs[0]));
		FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));
		System.exit(job.waitForCompletion(true) ? 0 : 1);
		return 0;
	}


	public static void main(String[] args) throws Exception {
		ToolRunner.run(new WordCount(), args);
	}<span style="color:#ffffff;">
}</span></span>

首先我们来看以上这段代码的控制台结果，对应的解释嵌在结果里面 


Oct 6, 2013 2:17:01 PM org.apache.hadoop.util.NativeCodeLoader <clinit>
WARNING: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Oct 6, 2013 2:17:01 PM org.apache.hadoop.mapred.JobClient copyAndConfigureFiles
WARNING: No job jar file set.  User classes may not be found. See JobConf(Class) or JobConf#setJar(String).
Oct 6, 2013 2:17:01 PM org.apache.hadoop.mapreduce.lib.input.FileInputFormat listStatus
//19是hadoop计算map reduce的时候总共要处理的文件的数量，
//也就是FileInputFormat.addInputPath指定的文件夹里面的文件数量（如果指定的是文件夹的话）。
INFO: Total input paths to process : 19
Oct 6, 2013 2:17:01 PM org.apache.hadoop.io.compress.snappy.LoadSnappy <clinit>
WARNING: Snappy native library not loaded
Oct 6, 2013 2:17:02 PM org.apache.hadoop.mapred.JobClient monitorAndPrintJob
//1463375898_0001是本次map reduce的job_id号
INFO: Running job: job_local1463375898_0001
Oct 6, 2013 2:17:02 PM org.apache.hadoop.mapred.LocalJobRunner$Job run
INFO: Waiting for map tasks
Oct 6, 2013 2:17:02 PM org.apache.hadoop.mapred.LocalJobRunner$Job$MapTaskRunnable run
//这里开始跑第一个map，这里的attempt_local1463375898_0001_m_000000_0的意思是
//在jobid 1463375898_0001中的第0个map的第0次尝试。
INFO: Starting task: attempt_local1463375898_0001_m_000000_0
Oct 6, 2013 2:17:02 PM org.apache.hadoop.util.ProcessTree isSetsidSupported
INFO: setsid exited with exit code 0
Oct 6, 2013 2:17:02 PM org.apache.hadoop.mapred.Task initialize
INFO:  Using ResourceCalculatorPlugin : org.apache.hadoop.util.LinuxResourceCalculatorPlugin@48e61a35
Oct 6, 2013 2:17:02 PM org.apache.hadoop.mapred.MapTask runNewMapper
//显示我们将要处理的文件，这里表示第一个map处理该文件的从第0个字节到第0+3686382个字节的数据。
//有可能一个文件会被拆分给多个map处理。
INFO: Processing split: file:/home/coolmore/workspace/eclipse/HadoopStudy/data/in/hadoop_1.2.1.xml:0+3686382
Oct 6, 2013 2:17:02 PM org.apache.hadoop.mapred.MapTask$MapOutputBuffer <init>
//一些mapreduce的参数
//io.sort.mb  指的是每个map存储中间结果的内存的最大size。如果超过这个值，数据就会spill到磁盘。
INFO: io.sort.mb = 100
Oct 6, 2013 2:17:02 PM org.apache.hadoop.mapred.MapTask$MapOutputBuffer <init>
//这里796917760=996147200*0.8。 0.8指的是参数io.sort.spill.percent的值。
//这个值的意思是如果io.sort.mb为100MB，那么当内存中的数据达到80MB时就会开始把数据spill到磁盘，
//并且在spill之前可能会执行combiner将结果集减小。
//在此之后会一边spill数据一边填充数据，类似于一个不断的生产和消费的过程。
INFO: data buffer = 796917760/996147200
Oct 6, 2013 2:17:02 PM org.apache.hadoop.mapred.MapTask$MapOutputBuffer <init>
//2621440=3276800*0.8
INFO: record buffer = 2621440/3276800
Oct 6, 2013 2:17:02 PM org.apache.hadoop.mapred.MapTask$MapOutputBuffer flush
//这里第一个map的数据在内存中足够放下，所以结果直接flush出来，
//当然也是flush到磁盘上。在flush之前要在内存中进行sort操作。
//这里不存在mapper端的spill&merge的过程，因为数据量太小，只是spill生成了一个文件。
INFO: Starting flush of map output
Oct 6, 2013 2:17:03 PM org.apache.hadoop.mapred.JobClient monitorAndPrintJob
INFO:  map 0% reduce 0%
Oct 6, 2013 2:17:03 PM org.apache.hadoop.mapred.MapTask$MapOutputBuffer sortAndSpill
INFO: Finished spill 0
//第一个map结束。
Oct 6, 2013 2:17:03 PM org.apache.hadoop.mapred.Task done
INFO: Task:attempt_local1463375898_0001_m_000000_0 is done. And is in the process of commiting
Oct 6, 2013 2:17:03 PM org.apache.hadoop.mapred.LocalJobRunner$Job statusUpdate
INFO:
Oct 6, 2013 2:17:03 PM org.apache.hadoop.mapred.Task sendDone
INFO: Task 'attempt_local1463375898_0001_m_000000_0' done.
Oct 6, 2013 2:17:03 PM org.apache.hadoop.mapred.LocalJobRunner$Job$MapTaskRunnable run
INFO: Finishing task: attempt_local1463375898_0001_m_000000_0
Oct 6, 2013 2:17:03 PM org.apache.hadoop.mapred.LocalJobRunner$Job$MapTaskRunnable run
//这里开始跑第二个map，这里的attempt_local1463375898_0001_m_000001_0的意思是
//在jobid attempt_local1463375898_0001中的第1个map的第0次尝试。接下来的步骤都是大同小异的，所以略过。
INFO: Starting task: attempt_local1463375898_0001_m_000001_0
。。。。。。
。。。。。。
。。。。。。
//最后一个map执行成功了。
INFO: Finishing task: attempt_local1463375898_0001_m_000018_0
Oct 6, 2013 2:17:12 PM org.apache.hadoop.mapred.LocalJobRunner$Job run
//所有的map执行成功了
INFO: Map task executor complete.
Oct 6, 2013 2:17:12 PM org.apache.hadoop.mapred.Task initialize
INFO:  Using ResourceCalculatorPlugin : org.apache.hadoop.util.LinuxResourceCalculatorPlugin@79884a40
Oct 6, 2013 2:17:12 PM org.apache.hadoop.mapred.LocalJobRunner$Job statusUpdate
INFO:
Oct 6, 2013 2:17:12 PM org.apache.hadoop.mapred.Merger$MergeQueue merge
//这里其实到了reduce的部分，之前的19个map会生成19个文件，这些文件分别会被送到reduce中处理，并且这些文件都是已经排好序了。
//这里有一个参数很重要也就是io.sort.factor，意思是reduce和mapper做归并排序的最多处理的文件，本例中是10。
//因为我们总共有19个文件，所以reducer要先把这19个文件归并成10个。
INFO: Merging 19 sorted segments
Oct 6, 2013 2:17:12 PM org.apache.hadoop.mapred.Merger$MergeQueue merge
INFO: Merging 10 intermediate segments out of a total of 19
Oct 6, 2013 2:17:12 PM org.apache.hadoop.mapred.Merger$MergeQueue merge
//10个文件总大小为7.9MB左右。
INFO: Down to the last merge-pass, with 10 segments left of total size: 7896329 bytes
Oct 6, 2013 2:17:12 PM org.apache.hadoop.mapred.LocalJobRunner$Job statusUpdate
INFO:
Oct 6, 2013 2:17:12 PM org.apache.hadoop.mapred.Task done
//jobid为1463375898_0001的第1个reducer的第1次尝试完成了。
INFO: Task:attempt_local1463375898_0001_r_000000_0 is done. And is in the process of commiting
Oct 6, 2013 2:17:12 PM org.apache.hadoop.mapred.LocalJobRunner$Job statusUpdate
INFO:
Oct 6, 2013 2:17:12 PM org.apache.hadoop.mapred.Task commit
INFO: Task attempt_local1463375898_0001_r_000000_0 is allowed to commit now
Oct 6, 2013 2:17:12 PM org.apache.hadoop.mapreduce.lib.output.FileOutputCommitter commitTask
//将结果输出
INFO: Saved output of task 'attempt_local1463375898_0001_r_000000_0' to /home/coolmore/workspace/eclipse/HadoopStudy/data/out
Oct 6, 2013 2:17:12 PM org.apache.hadoop.mapred.LocalJobRunner$Job statusUpdate
INFO: reduce > reduce
Oct 6, 2013 2:17:12 PM org.apache.hadoop.mapred.Task sendDone
INFO: Task 'attempt_local1463375898_0001_r_000000_0' done.
Oct 6, 2013 2:17:13 PM org.apache.hadoop.mapred.JobClient monitorAndPrintJob
//进度条满了
INFO:  map 100% reduce 100%
Oct 6, 2013 2:17:13 PM org.apache.hadoop.mapred.JobClient monitorAndPrintJob
INFO: Job complete: job_local1463375898_0001
Oct 6, 2013 2:17:13 PM org.apache.hadoop.mapred.Counters log
//把所有的counter的数据打出来把所有的counter的数据打出来，counter分成几个组，有
//FileInput Format counter
//FileOutput Format Counters
//MapReduce task counters
//Filesystem counters
//Job counters 几大类。
INFO: Counters: 20
Oct 6, 2013 2:17:13 PM org.apache.hadoop.mapred.Counters log
INFO:   File Output Format Counters
Oct 6, 2013 2:17:13 PM org.apache.hadoop.mapred.Counters log
INFO:     Bytes Written=629401
Oct 6, 2013 2:17:13 PM org.apache.hadoop.mapred.Counters log
INFO:   File Input Format Counters
Oct 6, 2013 2:17:13 PM org.apache.hadoop.mapred.Counters log
INFO:     Bytes Read=52879822
Oct 6, 2013 2:17:13 PM org.apache.hadoop.mapred.Counters log
INFO:   FileSystemCounters
Oct 6, 2013 2:17:13 PM org.apache.hadoop.mapred.Counters log
INFO:     FILE_BYTES_READ=672008497
Oct 6, 2013 2:17:13 PM org.apache.hadoop.mapred.Counters log
INFO:     FILE_BYTES_WRITTEN=101705449
Oct 6, 2013 2:17:13 PM org.apache.hadoop.mapred.Counters log
INFO:   Map-Reduce Framework
Oct 6, 2013 2:17:13 PM org.apache.hadoop.mapred.Counters log
INFO:     Map output materialized bytes=7896423
Oct 6, 2013 2:17:13 PM org.apache.hadoop.mapred.Counters log
INFO:     Map input records=1252054
Oct 6, 2013 2:17:13 PM org.apache.hadoop.mapred.Counters log
INFO:     Reduce shuffle bytes=0
Oct 6, 2013 2:17:13 PM org.apache.hadoop.mapred.Counters log
INFO:     Spilled Records=784653
Oct 6, 2013 2:17:13 PM org.apache.hadoop.mapred.Counters log
INFO:     Map output bytes=63190860
Oct 6, 2013 2:17:13 PM org.apache.hadoop.mapred.Counters log
INFO:     CPU time spent (ms)=0
Oct 6, 2013 2:17:13 PM org.apache.hadoop.mapred.Counters log
INFO:     Total committed heap usage (bytes)=37932826624
Oct 6, 2013 2:17:13 PM org.apache.hadoop.mapred.Counters log
INFO:     Combine input records=4020645
Oct 6, 2013 2:17:13 PM org.apache.hadoop.mapred.Counters log
INFO:     SPLIT_RAW_BYTES=2654
Oct 6, 2013 2:17:13 PM org.apache.hadoop.mapred.Counters log
INFO:     Reduce input records=322311
Oct 6, 2013 2:17:13 PM org.apache.hadoop.mapred.Counters log
INFO:     Reduce input groups=24731
Oct 6, 2013 2:17:13 PM org.apache.hadoop.mapred.Counters log
INFO:     Combine output records=322311
Oct 6, 2013 2:17:13 PM org.apache.hadoop.mapred.Counters log
INFO:     Physical memory (bytes) snapshot=0
Oct 6, 2013 2:17:13 PM org.apache.hadoop.mapred.Counters log
INFO:     Reduce output records=24731
Oct 6, 2013 2:17:13 PM org.apache.hadoop.mapred.Counters log
INFO:     Virtual memory (bytes) snapshot=0
Oct 6, 2013 2:17:13 PM org.apache.hadoop.mapred.Counters log
INFO:     Map output records=4020645

为了看得方便，我们把所有的counter都列出来。

FileInputFormat task counters:
  • Bytes Read=52879822(BYTES_READ)

读取的input的数据文件的总大小为53MB左右。

FileOputFormat task counters:
  • Bytes Written=629401(BYTES_WRITTEN)

最终在HDFS生成的文件的大小为629KB左右。

FileSystemCounters:
  • FILE_BYTES_READ=672008497

累计读取本地磁盘的文件数据大小，map和reduce端有排序和归并，这些都需要占用io。

  • FILE_BYTES_WRITTEN=101705449

累计写入本地磁盘的文件数据大小。

Map-Reduce Framework:
  • Map input records=1252054(MAP_INPUT_RECORDS)

Map的输入的record数量，每次调用map函数的时候就会记一下。

  • Map output records=4020645(MAP_OUTPUT_RECORDS)

Map输出的records的数量，每次调用context.write方法就会记录一下。

  • Map output bytes=63190860(MAP_OUTPUT_BYTES)

非压缩的map的输出总大小，每次调用context.write方法就会记录一下。

  • Combine input records=4020645(COMBINE_INPUT_RECORDS)

Combiner的处理的record的数量，因为combiner是紧接着mapper的，自然Combine input records=Map output records。

  • Combine output records=322311(COMBINE_OUTPUT_RECORDS)

我们看到Combine input records=4020645，而Combine output records之后是322311，数据量大量减少了，提高了性能。

  • Map output materialized bytes=7896423(MAP_OUTPUT_MATERIALIZED_BYTES)

据官方文档是说map真正输出到磁盘的文件的大小，如果map输出的文件是压缩的，那么改值就是压缩之后的值。 这里的值比Map output bytes小是因为combiner减小了数据量。

  • Reduce input records=322311(REDUCE_INPUT_RECORDS)

Reducer所接受到的所有的record的数量，包含那些key是相同的record，每次迭代values的时候就会记一下。 这里 Combine output records=Reduce input records。

  • Reduce input groups=24731(REDUCE_INPUT_GROUPS)

Reducer所接受到的所有的key的distinct值的数量，相当于是总的调用了多少次的reduce方法。

  • Reduce output records=24731(REDUCE_OUTPUT_RECORDS)

这里Reduce output records=Reduce input groups，因为一个reducer方法只输出一行记录。

  • Spilled Records=784653(SPILLED_RECORDS)

在map和reduce过程中splill到磁盘的record的数量






春夏秋冬又一年
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
基于Hadoop的电影影评数据分析
04-04
是大数据课程大作业，基于Hadoop的电影影评数据分析，需要安装Hadoop，了解MapReduce 和HDFS。
Hadoop中MapReduce程序的本地IDEA测试（及org.apache.hadoop.io.nativeio问题）
mango_ZZY的博客
12-02 1630
一、本地测试 在IDEA中进行本地测试，案例有3个类。（其实MapReduce程序都是这3个类：Mapper、Reducer、Driver） 1.run——>Edit Configurations 2.Create a new configuration 3.修改以下内容 注意：修改Program arguments时，前面是输入数据的路径，后面是输出数据的路径，输出数据的路径是一个文件夹，这个文件夹不能在程序执行前被创建好，否则会报错 4.在Driver类中运行程序 当在D
Hadoop MapReduce 任务执行流程源代码详细解析
RiverM的专栏
09-27 1万+
目录 1 引言  1.1 目的  1.2 读者范围 2 综述 3 代码详细分析  3.1 启动Hadoop集群  3.2 JobTracker启动以及Job的初始化  3.3 TaskTracker启动以及发送Heartbeat  3.4 JobTracker接
Hadoop实践（三）---MapReduce中的Counter
狮锅艺
06-21 2472
在Hadoop的MapReduce框架中包括6种Counters，每一种包含若干个Counter，分别对Map和Reduce任务进行统计 Tips：图片中是Hadoop2.7.3 Counters 略有更新 注意区分 其实根据字面意思大概就知道这个Counter是干啥的
MapReduce高级篇——全局计数器
wxk的博客
04-22 1110
在运行程序的时候，程序员很希望去了解程序的运行情况，MapReduce程序运行也是如此，此外MapReduce这种大数据运算，计算时间比较长，不提供一些信息的话，用户只能一边又一遍的调试来查找问题。为此MapReduce提供了计数器，在默认情况下，我们可以可以根据内置的计数器来了解大致情况，但是业务总不可能全都是相同的，有时候也需要自定义，MapReduce也为我们提供了相应的接口，本文主要讲解计数器该如何使用、自定义
基于计算机资源分析hadoop的默认counter
weixin_33794672的博客
05-08 141
前言 由于项目中，需要统计每个业务组使用的计算机资源，如cpu，内存，io读写，网络流量。所以需要阅读源码查看hadoop的默认counter。 MapReduce Counter可以观察MapReduce job运行期的一些细节数据，Counter有"组group"的概念，用于表示逻辑上相同范围的所有数值。   cpu  如何衡量mapreduce的任务的计算量呢，如果按照任务的运行时...
MapReduce控制台打印释义
Rick的修仙路
10-12 1033
MapReduce控制台最后的打印释义如下File System Counters 组名 FILE: Number of bytes read=204404 读入的字节数，等于输入的文件 FILE: Number of bytes written=1154836 写了多少
Hadoop Counter
GatsbyNewton
06-05 2541
Hadoop Counte是Hadoop自带的一个很实用的功能，它可以统计全局某个量的数量，如，MR中用Kafka发送消息，就可以用Hadoop Counter统计发送成功信息的条数、发送失败信息的条数，以及发送信息的总条数。其实我们每个MapReduce Job跑完都有Counter打印： 16/06/05 00:25:19 INFO mapreduce.Job: Counters: 50 F
基于Hadoop豆瓣电影数据分析实验报告
06-16
针对本次实验，我们需要用到Hadoop集群作为模拟大数据的分析软件，集群环境必须要包括，hdfs，hbase，hive，flume，sqoop等插件，最后结合分析出来的数据进行可视化展示，需要用到Python（爬取数据集，可视化展示）...
基于Hadoop的大数据应用分析.ppt
05-10
1.大数据背景介绍 2. HADOOP体系架构 3. 基于HADOOP的大数据产品分析 4. 基于HADOOP的大数据行业应用分析 5.东软基于HADOOP的大数据应用建议
HadoopFileManager:Hadoop 的控制台文件管理器，用 java 编写。-开源
07-09
Hadoop 的控制台文件管理器，用 java 编写。 仅适用于 Linux。 左侧面板包含本地文件，右侧面板包含来自 HDFS 的文件。 对于运行执行：hadoop jar HadoopFileManager-0.1.0-DEMO.jar Lanterna 库作为 UI。 为了避免...
Hadoop豆瓣电影数据分析（Hadoop）操作源码
06-16
Hadoop豆瓣电影数据分析（Hadoop）操作源码
Hadoop生态圈（二十四）- MapReduce Counter计数器
程序园@大Null
02-05 1124
MapReduce计数器概述，MapReduce内置计数器，MapReduce自定义计数器，Map-Reduce Framework Counters，File System Counters Counters，Job Counters，File Input | Output Format Counters，MapReduce自定义计数器案例
MapReduce-Counters含义
Qi.zheng
03-25 4478
16/03/24 15:13:39 INFO mapreduce.Job: Counters: 49         File System Counters                 FILE: Number of bytes read=278   job读取本地文件系统的文件字节数。假定我们当前map的输入数据都来自于HDFS，那么在map阶段，这个数据应该是0。但      re
使用hadoop api获取任务日志
小么飞刀的博客
04-28 1592
使用hadoop api获取任务日志 正常情况下我们可以通过开启日志聚合在yarn webUi上查看任务日志，但是当我们需要定制日志呈现方式时就需要使用到hadoop提供的api来获取。以下为demo。 引入依赖 <dependency> <groupId>org.apache.hadoop</groupId> ...
大数据Hadoop系列之Hadoop Web控制台添加身份验证
热门推荐
飞翔的博客
11-08 9万+
1. 背景介绍 本文档介绍如何配置Hadoop HTTP Web控制台以要求用户身份验证。 默认情况下，Hadoop HTTP Web控制台（ResourceManager，NameNode，NodeManagers和DataNodes）允许访问而无需任何形式的身份验证。 可以将Hadoop HTTP Web控制台配置为使用HTTP SPNEGO协议（Firefox和Internet Exp...
大数据开发之windows安装hadoop教程
yjjhk的专栏
12-15 1986
本文主要介绍如何在windows上安装hadoop
hadoop_用Java编写Hadoop MapReduce任务
cunhu4317的博客
12-09 353
hadoop 尽管Hadoop框架本身是使用Java创建的，但MapReduce作业可以用许多不同的语言编写。 在这篇文章中，我将展示如何像其他Java项目一样，基于Maven项目在Java中创建MapReduce作业。 准备示例输入 让我们从一个虚构的商业案例开始。 在这种情况下，我们需要一个CSV文件，其中包含字典中的英语单词，并添加了其他语言的所有翻译，并以'|'分隔符号。 我已经根据...
Hadoop简介
最新发布
Emperor_rock的专栏
04-09 1790
hadoop简介
hadoop debugg启动
06-01
Hadoop Debug 启动需要进行以下步骤： 1. 配置 Hadoop 环境变量：在启动 Debug ...4. 运行命令：启动 Debug 模式后，运行 Hadoop 命令来执行 MapReduce 任务，可以在控制台或者 Hadoop 的日志文件中查看 Debug 信息。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值