hadoop中查看System.out.println输出

最新推荐文章于 2023-02-11 15:49:57 发布
最新推荐文章于 2023-02-11 15:49:57 发布
阅读量2k 收藏
点赞数
分类专栏： Hadoop 文章标签： hadoop map reduce system.out.println 打印
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/vip_huang/article/details/8756330
版权

1.首先打开http://131.1.2.26:50030/jobtracker.jsp这个网页， 注意ip为你自己master的ip

2.在Completed Jobs 中选择你要查看输出打印信息的jobid，点击进去

3.在进入的页面中，看到Kind， 选择Map或Reduce，点击进入

4.在进入的页面中，看到Task， 选择相应的Task，地那几进入

5.在进入的页面中， 看到标签为Task Log是， 下面有三个连接，分别为Last 4KB， Last 8KB和All这个时候要注意了 ， 你要想看所有的打印信息，

最好进入All，因为我自己实践发现，前两个连接智能看到reduce中打印的信息，不能够看到map中打印的信息。

黄小北
关注
专栏目录
【MapReduce】MapReudce在集群上运行时查询System.out的结果
HR的博客
02-22 338
MapReudce在集群上运行时查询System.out的结果准备工作查看日志文件 准备工作 我们在使用MapReduce在集群上运行时，常常为了方便而使用System.out，但是却无法显示在控制台上，往往我们就需要去日志里面寻找 本次所使用到的数据 本次使用的代码 package WC; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.i
hadoop中System.out.println输出内容的查看
gywtzh0889的专栏
09-23 3010
hadoop中System.out.println只有在main方法可以输出到控制台，如果是在map或reduce方法不可以在控制台看到，但是， 我们可以在hadoop安装目录下的logs/userlogs/container_****/stdout中看到，如果是在集群环境下，每台机器会有 不同的stdout，可以查看完，找到自己希望看到的。
mapreduce调试查询System.out的结果
weixin_34310785的博客
10-23 215
1.前言 刚接触mapreduce的人肯定为碰到这样的问题，就是我们在程序中如下类似的命令 System.out.println(year+" "+airTemperature);//无效，控制台没有输出。但是console控制台不给我们输出相应的结果，这对于很多通过System.out来调试的人来说，会是一个很头疼的事情，我也对这个很头疼。昨天在看《hadoop权威指南第二版》的第五章的...
Hadoop2.9下运行JAR包时System.out.println的输出日志
03-19 819
根据博文——Hadoop日志存放路径详解中所述，Container日志包含ApplicationMaster日志和普通Task日志（关于其他类型的日志的详细说明请参考该博文，本文不再赘述） 所以可知，System.out.println的输出日志是属于Mapreduce程序的Container日志的普通Task日志 以下配置均在yarn-site.xml中，可在官网上查看默认配...
hadoop java 调试_Hadoop程序打印调试
weixin_34963576的博客
02-24 181
1. System.out 和 System.errMain在Main函数里使用System.out标准输出和System.err标准错误输出，输出定向到执行程序节点的终端上。即在完全分布的Hadoop部署中，输出会定向到启动程序的节点的终端上。Mapper针对每个split，会实例化一个Mapper对象作为一个task，在Hadoop集群中的某个机器中的某个Map槽上执行。Mapper对象中的m...
IDEA中运行Hadoop代码打印日志的log4j文件
qq_43494013的博客
09-05 708
IDEA中运行Hadoop代码打印日志的log4j文件
try{ String fileName = "test"; Configuration conf = new Configuration(); conf.set("fs.defaultFS", "hdfs://10.4.6.201:9000"); conf.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem"); FileSystem fs = FileSystem.get(conf); System.out.println("ss"); boolean exists = fs.exists(new Path(fileName)); System.out.println(exists); if(exists){ System.out.println("文件存在"); }else{ System.out.println("文件不存在"); } }catch (Exception e){ System.out.println("111"); e.printStackTrace(); }为什么程序不结束
05-27
System.out.println("ss"); boolean exists = fs.exists(new Path(fileName)); System.out.println(exists); if (exists) { System.out.println("文件存在"); } else { System.out.println("文件不存在"); }...
解释代码import java.io.IOException; import java.util.Arrays; import org.apache.hadoop.hbase.client.Mutation; import org.apache.hadoop.hbase.client.Put; import org.apache.hadoop.hbase.io.ImmutableBytesWritable; import org.apache.hadoop.hbase.mapreduce.TableReducer; import org.apache.hadoop.hbase.util.Bytes; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Reducer; public class mypreduce extends TableReducer<Text, Text, ImmutableBytesWritable> { @Override protected void reduce(Text k3, Iterable<Text> v3, Reducer<Text, Text, ImmutableBytesWritable, Mutation>.Context context) throws IOException, InterruptedException { int avg=0; for(Text i:v3){ System.out.println(k3.toString()+","+i.toString()); int sum=0; int count=0; String[] scores=i.toString().split(" "); System.out.println(Arrays.toString(scores)); //逐个将每个学生的成绩分数相加 for(String score:scores){ sum=sum+Integer.parseInt(score); count++; //System.out.println("reduce52"); } System.out.println(sum); //计算每个学生的平均分数 avg=sum/count; System.out.println(avg); } //将计算出的每个学生的平均分数添加到HBase表格中 Put put=new Put(Bytes.toBytes(k3.toString())); put.addColumn(Bytes.toBytes("avg"),null,Bytes.toBytes(String.valueOf(avg))); context.write(new ImmutableBytesWritable(Bytes.toBytes(k3.toString())), put); } }
最新发布
06-03
这是一个 Hadoop MapReduce 的 Reduce 阶段的代码，用于将一个学生的多次考试成绩求平均分并写入 HBase 表格中。具体来说，这段代码继承自 HBase 的 TableReducer 类，输入的键值对类型为 Text 和 Text，输出的键值...
大数据框架之Hadoop：入门（四）Hadoop运行模式
yiluohan0307的专栏
02-11 1108
Hadoop运行模式
hadoop 打印配置变量
好读书，每有会意，便欣然忘食。
08-07 1409
package my.test; import java.util.Map.Entry; import org.apache.hadoop.conf.*;   import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.util.*;   // ConfigPrinter:print all settings and prope
Hadoop调试信息的输出办法
东拉西扯到天明
12-17 207
Hadoop 调试是比较麻烦的事情，考虑到只能通过reduce输出数据，我们可以把调试信息输出到reduce中，然后固定到某个文件中。&lt;?xml:namespace prefix = o ns = "urn:schemas-microsoft-com:office:office" /&gt;     我们可以把所有的调试数据都是用key=“Debug”，调试信息作...
编写Java代码打印Hadoop中DataNode中的数据
fengxiandada的博客
05-03 1899
文章目录1. 使用idea远程访问2. 在Linux本地上执行Java脚本 前段时间老师布置了一个使用java代码打印hadoop中DataNode里数据的作业，起初不太熟悉在Linux里Java导包的步骤，来来回回花了很多时间去试错，最后终于弄好了，写篇博客记录一下 我的目标是使用idea远程打印和在Linux中本地打印DataNode里面的数据： 首先我们要知道的是Hadoop其实提供了很多端口供我们访问，我们可以通过特定的端口管理Hadoop中的很多组件，例如NameNode、DataNode、
shell小工具查看Hadoop中System.out输出的日志
conglu3007的博客
07-13 80
#!/bin/bash rm ~/log.log echo "Please Input JobID:" read NAME map_log="/home/grid/hadoop-1.2.1/logs/userlogs/$...
你真的了解System.out.println吗？
面对的博客
04-01 884
我们在Java中使用System.out.println()方法来输出字符串
hadoop mapreduce查看System.out的数据
hacker_zhb的博客
04-16 172
Actually stdout only shows the System.out.println() of the non map reduce classes. The System.out.println() for map and reduce phases can be seen in the logs. Easy way to access the logs is http:/...
MapReduce编程System.out.println的输出
weixin_34126215的博客
01-02 491
2019独角兽企业重金招聘Python工程师标准>>> ...
运行第一个mapreduce 程序 通过控制台
12-19 640
今天尝试来一天，才在控制台下运行成功来wordcount,简要记录一下。    首先配置好hadoop  ,之后在编译所提供的例子的时候总是出错，网上找来很多相同的问题，但是很少能说到关键的，http://blog.csdn.net/xw13106209/article/details/6862480 这一篇算是说的比较详细的一篇。其中的原因就是hadoop自带的例子里边有package or
shell 进入hadoop_shell小工具查看Hadoop中System.out输出的日志
weixin_39820910的博客
12-20 66
#!/bin/bashrm ~/log.logecho "Please Input JobID:"read NAMEmap_log="/home/grid/hadoop-1.2.1/logs/userlogs/${NAME}/attempt_${NAME#*job_}_m_000000_0/stdout"red_log="/home/grid/hadoop-1.2.1/logs/userlogs/...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值