Debug HDFS （远程调试HDFS）

最新推荐文章于 2022-10-13 14:26:14 发布
最新推荐文章于 2022-10-13 14:26:14 发布
阅读量2.1k 收藏
点赞数
分类专栏： Hadoop 文章标签： hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/guotong1988/article/details/48544305
版权

替换bin/hdfs里的相应的启动配置
如果不替换直接添加，会有
ERROR: Cannot load this JVM TI agent twice, check your java command line for duplicate jdwp options.
Error occurred during initialization of VM
agent library failed to init: jdwp
的错误
当然可以用echo看看启动配置里原来是什么

用sbin/hadoop-daemon.sh start datanode
sbin/hadoop-daemon.sh start namenode启动

FocusOneThread
关注
专栏目录
PyCharm+PySpark远程调试的环境配置的方法
09-19
### PyCharm+PySpark远程调试的环境配置详解 #### 前言 在大数据处理领域，使用Python结合Apache Spark可以高效地处理大规模数据集。然而，在开发过程中，经常会遇到远程调试的问题。本文将详细介绍如何在PyCharm...
【大数据】HDFS调试命令行(Debug Commands)详细使用说明
最新发布
如切如磋，如琢如磨，臻于至善。
03-08 502
HDFS命令行使用说明文档，比如常见的 bin/hdfs dfs -ls /; bin/hdfs dfs -rm ; bin/hdfs fsck等等命令详解 本章节主要讲述 bin/hdfs debug
hdfs运维中遇到的问题
h952520296的博客
10-13 1824
HDFS在写的时候有设置块大小，默认128M，Distcp 从源集群读文件后写入新集群，默认是使用的MR任务中的dfs.blocksize 128M。4、在distcp写完文件后，会基于块的物理大小做校验，因为该文件在新旧集群中blocksize不一致，因此拆分大小不一致，导致校验失败。常见的网络不通 端口不通 hdfs拿到的主机名无法解析，没有配映射 ，如果双网卡 拿到的ip和能通的ip不一样。用这个命令看下拿到的ip是不是你能通的ip，还有hdfs本身是直接访问ip 还是通过主机名进行访问的。
HDFS Remote Debug
yukikaze_nanoda的博客
08-30 480
显示listening，正在监听，此时需要去idea上的hadoop2.7本地代码打断点进行debug。其中，address端口号为自定义的端口号。自此，这个hadoop开启了debug模式。使用一台主机充当客户端（client），安装任意版本的hadoop（这里选用2.7）。配置client如图，注意图中标红箭头的位置，要和远程的注意ip地址和端口号一致。至此，我们完成了远程连接部分，接下来就可以愉快地步进和debug了。以读操作为例，进行client remote debug。...
【hadoop】HDFS块修复
lsr40的博客
03-25 5762
背景 HDFS场景下，有时候某些异常会导致丢失文件块！这时候，我们如何处理这些文件块，或者说这些文件块是否还有救？ 丢文件块是一种统一的说法，实际上是两种情况，一个是Corrupt blocks，一个是Missing replicas 先说个背景知识：当我上传一个文件到HDFS，这个文件在HDFS上看得到，也可以正常使用，实际上在磁盘上会存两种类型的文件 举例： 1、blk_1073743119 2、blk_1073743119_2295.meta 第一个文件就是实际上的数据，如果你的文件是文.
使用 intellij 远程调试 hdfs 源码 经验总结
zhixingheyi_tian的博客
05-17 1709
最近在阅读hadoop源码，有时候为搞清楚来龙去脉，必要时得做debug。 在搭建调试环境的时候，遇到不少问题，最后逐一解决。在此分享给大家，以飨读者、同仁。 NoClassDefFoundError 第一个问题，莫名其妙，类找不到，代码都没标红，排查了很久以为环境没搭好。 Exception in thread "main" java.lang.NoClassDefFoundErro...
spark的远程调试
04-28
### Spark的远程调试详解 #### 一、引言 在分布式计算环境中，Apache Spark作为一款高性能的数据处理框架，被广泛应用于大数据分析与机器学习场景之中。然而，在开发和维护Spark应用的过程中，不可避免地会遇到...
hdfs-site.xml配置文件详解
10-22
- "DEBUG"：可以记录命名空间变化的日志，如目录的创建、删除等。 - "WARN"：记录警告信息。 - "ERROR"：记录错误信息。 - "FATAL"：记录致命错误，通常伴随系统崩溃。 - "ALL"：记录所有日志。 2. dfs.namenode....
Hadoop环境搭建 附件.rar
05-25
此外，确保Hadoop的JVM允许远程调试，如在`mapred-site.xml`中添加`<property><name>mapreduce.map.debug.port</name><value>5005</value></property>`，指定调试端口。 12. **测试远程调试**: 在你的IDE（如...
如何在Windows下的eclipse调试Hadoop2.2.0分布式集群
08-06
这需要在Hadoop集群的每个节点上开启远程调试选项，并在Eclipse中配置相应的远程调试端口。 8. **日志与跟踪**： Hadoop提供详细的日志系统，可以通过HDFS或控制台查看运行日志，这对调试非常有帮助。同时，可以...
hadoop之远程debug
悍M!的专栏
11-10 518
1.添加配置 jps查看进程的时候，得到的进程名称就是类的名称，这个类并且有main方法 需要在$HADOOP_HOME/etc/hadoop/hadoop-env.sh文件的最后添加你想debug的进程 #远程调试namenode exportHADOOP_NAMENODE_OPTS="-agentlib:jdwp=transport=dt_socket,address=8888,ser
hadoop debug很好的测试命令
weixin_34208283的博客
04-25 206
2019独角兽企业重金招聘Python工程师标准>>> ...
Hadoop学习九：hdfs源代码调试
youfashion的博客
04-13 1677
Hadoop学习九：hdfs源代码调试标签（空格分隔）： hadoopHadoop学习九hdfs源代码调试 一利用log4j调试 一，利用log4j调试1,在eclipse工程里面创建source folder 2,拷贝log4j.properties文件[hadoop002@hadoop002 hadoop]$ cp log4j.properties /home/hadoop002/worksp
HDFS操作命令
debugcool的博客
07-20 317
查看文件列表 查看hdfs中/user/admin/aaron目录下的文件。 进入HADOOP_HOME目录。 执行sh bin/hadoop fs -ls /user/admin/aaron 这样，我们就找到了hdfs中/user/admin/aaron目录下的文件了。 我们也可以列出hdfs中/user/admin/aaron目录下的所有文件（包括子目录下的文件...
Hadoop debug 方法
weixin_30505485的博客
04-20 321
做hadoop开发，需要对hdfs，mapreduce组件等进行修改、测试，如果每次做修改后都打成jar包上传到服务器打log测试的话将非常麻烦和耗时的。所以如果能够通过eclipse进行远程调试将会非常方便与惬意的。 hadoop远程调试十分简单，只需要自己hack很少的代码就可以完成。步骤如下： 首先拷贝$HADOOP_HOME/bin/hadoop ...
[Hadoop] Hadoop开启调试模式
芒果先生Mango的专栏
01-14 8783
方法1：修改$HADOOP_CONF_DIR/log4j.properties文件 hadoop.root.logger=ALL,console     将该文件添加到项目classpath目录，如conf/log4j.properties     在代码中加入：     PropertyConfigurator.configure("conf/log4j.properties"); 方法
使用 IntelliJ 远程调试 HDFS
诡影苍穹的专栏
07-12 7664
首先找到使用的 hadoop 脚本，例如在Apache的
hdfs高阶命令
weixin_44729445的博客
08-28 435
[hadoop@ruozedata001 hadoop]$ hdfs haadmin Usage: DFSHAAdmin [-ns <nameserviceId>] [-transitionToActive <serviceId> [--forceactive]] [-transitionToStandby <serviceId>] [-...
eclipse 下 hadoop debug 笔记
沉底的石头
07-08 5122
1. 搭建hadoop 伪分布式集群 http://hadoop.apache.org/docs/stable/single_node_setup.html core-site.xml [html] view plaincopy configuration>   property>     name>fs.defa
HDFS 透明加密机制详解与实践
HDFS 透明加密KMS HDFS 透明加密KMS 是 Hadoop 分布式存储系统中的一个重要组件，主要用来保护 HDFS 中的数据安全。本文将详细介绍 HDFS 透明加密KMS 的原理、特点和使用方法。 一、 HDFS 明文存储弊端 在 HDFS ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

FocusOneThread

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值