Hadoop学习九：hdfs源代码调试

最新推荐文章于 2023-12-14 15:25:05 发布
最新推荐文章于 2023-12-14 15:25:05 发布
阅读量1.6k 收藏
点赞数
分类专栏： hadoop 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/youfashion/article/details/51138602
版权
本文介绍了如何使用log4j进行Hadoop HDFS源代码的调试，包括设置log4j.properties文件调整日志级别，以及通过Eclipse进行远程调试的详细步骤，涉及启动Hadoop、设置断点及远程调试配置。
摘要由CSDN通过智能技术生成

Hadoop学习九：hdfs源代码调试

标签（空格分隔）： hadoop

一，利用log4j调试

1,在eclipse工程里面创建source folder
001.jpg-90.8kB

2,拷贝log4j.properties文件

[hadoop002@hadoop002 hadoop]$ cp log4j.properties /home/hadoop002/workspace5/hadoopstudy/res

3,刷新eclipse工程

日志级别：DEBUG

[hadoop002@hadoop002 hadoop-2.5.0]$ ps -ef|grep namenode

最低0.47元/天 解锁文章
forrestxingyunfei
关注
专栏目录
hadoop-2.6.5:编译好的hadoop2.6.5，主要用于研究HDFS2
03-23
在实际研究中，我们可以利用压缩包中的`hadoop-2.6.5-master`文件，这包含了完整的源代码，可以进行代码级别的学习和调试。通过对源码的阅读和分析，可以更深入地了解HDFS的工作原理，理解如Block报告、Heartbeat...
hadoop源代码调试
plifemao的博客
09-25 549
调试方法 使用如下方法调试 第一步：在启动Hadoop历史服务器进程之前在终端加入以下环境配置： [wyp@date52 /home/wyp/hadoop]$ export HADOOP_OPTS="-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=50070" 这里对上面的几个参数进行说明： -Xde...
【大数据Hadoop】Hadoop源代码调试（持续更新...）
如切如磋，如琢如磨，臻于至善。
01-29 269
hadoop 源代码 各个组件的调试，分析源代码，跟踪源代码，解析源代码，理解源代码，熟读源代码
hadoop使用内置包进行性能测试TestDFSIO、NNBench、MRBench、SliveTest
最新发布
qq_44229840的博客
12-14 1962
TestDFSIO/NNBench/MRBench/SliveTest
HDFS单机版的配置测试
e3hhhh的博客
09-01 208
HDFS单机版的配置测试 作用 用于对MapReduce程序的逻辑进行调试，确保程序的正确。由于在本地模式下测试和调试MapReduce程序较为方便，因此，这种模式适宜用在开发阶段。 准备一台虚拟机 要求配置好jdk，添加一个用户，centos系统，在/opt目录下创建一个apps得目录 mkdir /opt/apps 并且修改拥有者与所属组 chown hadoop:hadoop /opt/a...
使用 intellij 远程调试 hdfs 源码 经验总结
zhixingheyi_tian的博客
05-17 1744
最近在阅读hadoop源码，有时候为搞清楚来龙去脉，必要时得做debug。 在搭建调试环境的时候，遇到不少问题，最后逐一解决。在此分享给大家，以飨读者、同仁。 NoClassDefFoundError 第一个问题，莫名其妙，类找不到，代码都没标红，排查了很久以为环境没搭好。 Exception in thread "main" java.lang.NoClassDefFoundErro...
hadoop源代码归档
10-19
6. **开发和调试**：通过阅读源代码，开发者可以学习如何编写Hadoop作业，如何与HDFS交互，以及如何调试分布式系统中的问题。 7. **扩展性**：源代码还展示了如何扩展Hadoop，例如添加自定义InputFormat、...
hadoop 源代码归档 3
07-14
7. **开发与调试**：通过获取源代码，开发者可以定制Hadoop以适应特定业务需求，或者为Hadoop贡献代码，修复问题，优化性能。源代码归档也方便进行单元测试和集成测试，确保修改不会影响其他功能。 8. **版本控制**...
hadoop源代码版本归档
07-26
为了获取Hadoop源代码，开发者通常会从Apache官方仓库克隆或下载源码，然后使用Java开发环境进行编译和调试。如果您对Hadoop的开发或版本历史感兴趣，应该访问Apache官网或GitHub上的相关项目页面来获取正确的源代码...
Hadoop学习总结之五：Hadoop的运行痕迹
diebiaosang4496的博客
11-23 256
Hadoop 学习总结之一：HDFS简介Hadoop学习总结之二：HDFS读写过程解析Hadoop学习总结之三：Map-Reduce入门Hadoop学习总结之四：Map-Reduce的过程解析在使用hadoop的时候，可能遇到各种各样的问题，然而由于hadoop的运行机制比较复杂，因而出现了问题的时候比较难于发现问题。 本文欲通过某种方式跟踪Hadoop的运行痕迹，方便出现问题的时候...
Hadoop在Windows下用IDEA调试
08-13
NULL 博文链接：https://liumangafei.iteye.com/blog/2303362
windows下hadoop本地测试需要修改的源码
07-04
将两个类org.apache.hadoop.io.nativeio.NativeIO.java，org.apache.hadoop.mapred.YARNRunner.java 放到工程的src下，两个类的package不修改，否则覆盖不掉原来的hadoop的那两个类
调试 Hadoop 源代码
weixin_30443813的博客
07-04 146
环境是 64bit Ubuntu 14.04 系统, jdk 1.7 以及 Eclipse Mars (4.5) 　　 　　这里介绍两种调试 Hadoop 源代码的方法: 利用 Eclipse 远程调试工具和打印调试日志. 这两种方法均可以调试伪分布式工作模式和完全分布式工作模式下的 Hadoop. 最后介绍我自己的方法, 可以打印你想查看的信息( 针对单个文件内部 ). 　　(1) 利用 E...
怎么调试Hadoop源代码
oraclestudyroad的博客
07-19 683
hadoop基础教程：调试Hadoop源代码，这里介绍两种调试Hadoop源代码的方法：利用Eclipse远程调试工具和打印调试日志。这两种方法均可以调试伪分布式工作模式和完全分布式工作模式下的Hadoop。本节主要介绍伪分布式工作模式下的Hadoop调试方法。 (1)利用Eclipse进行远程调试 下面以调试ResourceManager为例，介绍利用Eclipse远程调试的基本方法
【hadoop集群搭建和代码调试】总结17/2/18
jiangnankid的专栏
02-18 3328
按照配置、执行流程 ~~~~~~~~~~~~~~~~~~~~~~~~步骤1，在hadoop集群设定监听端口 【调试】监听hadoop集群9999端口，在eclipse中远程调试java代码 【具体做法】 export YARN_NODEMANAGER_OPTS="-Xdebug -Xrunjdwp:transport=dt_socket,address=8788,server=y,
hadoop 2.7.3 源码分析（二）：超简单源码修改测试
iblks
11-26 3603
前言在上一节中我们搭建起了测试环境，这一节我们根据前边序言中的内容，修改一下nameNode的启动代码看是否生效。修改代码在工程 hadoop-hdfs-project中的hadoop-hdfs中找到源文件NameNode.java（在包org.apache.hadoop.hdfs.server.namenode 内）在main 函数内添加以下代码System.out.println("Hello
hadoop 开发&调试
Yeung先森
09-13 887
写好的hadoop任务打成jar后，可以在服务器上用命令hadoop jar  提交。但开发阶段总不能一直用这种方式来调试，最好是在本机的ide 上可以直接debug。 如果在wiindow上配置一套开发调试环境，说实话真是觉得很不爽。为了以后方便，整理了一下windows 下hadoop开发环境的配置和调试过程。    首先本地下载一个和服务器相同版本的hadoop安装包。 然后配置...
深入解析Hadoop源代码：HDFS与MapReduce
通过对Hadoop源代码的深入分析，我们可以了解其内部工作原理，从而优化性能、调试问题，甚至开发新的功能。对于那些希望在大数据处理领域深化理解的开发者来说，研究Hadoop源代码是不可或缺的一部分。通过学习Hadoop...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

forrestxingyunfei

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值