hadoop远程调试

最新推荐文章于 2021-02-15 11:37:46 发布
最新推荐文章于 2021-02-15 11:37:46 发布
阅读量663 收藏
点赞数
分类专栏： B1_HADOOP
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jinhong_lu/article/details/46520243
版权



1、修改etc/hadoop/yarn.sh，增加以下内容
export YARN_NODEMANAGER_OPTS="-Xdebug -Xrunjdwp:transport=dt_socket,address=8788,server=y,suspend=y”
export YARN_RESOUCEMANAGER_OPTS="-Xdebug -Xrunjdwp:transport=dt_socket,address=8788,server=y,suspend=y”
还可以在hadoop-env.sh, mapreduce-env.sh中设置其它选项


2、启动hadoop，其中start-yarn.sh时，会出现以下日志：
localhost: Listening for transport dt_socket at address: 8788

3、启动调试 run-debug configuration，填入ip 与port

458624.png


4、在集群中执行一个job
hadoop jar hadoop-mapreduce-examples-2.3.0.jar wordcount /input /output

jinhong_lu
关注
专栏目录
【hadoop】Hadoop远程调试
九师兄
10-05 543
在hadoop-env.sh中添加。
hadoop 远程调试
Java日常笔记精选的博客
07-09 314
远端调试名称节点 -------------------------------------------------------------------------------- [远端s101,namenode] 1.查看java远程调试的帮助 c:/>java -agentlib:jdwp=help 2.设置java虚拟机的远程调试 //设置java虚拟机参数，启用远端调试 ...
eclipse远程方式调试hadoop-yarn
豹先生
01-03 3260
远程调试hadoop-yarn需要三步走即可： 1，已debug模式启动hadoop-yarn集群，比如想要eclipse debug跟踪resourcemanager，在hadoop安装目录下找到 $hadoop_home/etc/hadoop/yarn-env.sh文件 添加如下一句话 YARN_RESOURCEMANAGER_OPTS="$YARN_RESOURCEMANAGER_O
如何远程调试Hadoop代码
nexus的专栏
06-17 5546
通常情况下，我们只是通过已经编译好的Hadoop jar包来运行Hadoop。如果我们更改了Hadoop的源码，希望对更改的代码进行远程调试，可以通过下面的步骤来进行： 1. 下载从Apache社区或者Cloudera网站上下载Hadoop的压缩包2. 在eclipse中创建一个java工程，并将该压缩包导入其中，建议在linux开发环境下完成3. 对Hadoop代码更改后，在li
远程调试hadoop各组件
快乐程序员的专栏
08-02 1625
远程调试对应用程序开发十分有用。例如，为不能托管开发平台的低端机器开发程序，或在专用的机器上（比如服务不能中断的 Web 服务器）调试程序。其他情况包括：运行在内存小或 CUP 性能低的设备上的 Java 应用程序（比如移动设备），或者开发人员想要将应用程序和开发环境分开，等等。 为了进行远程调试，必须使用 Java Virtual Machine (JVM) V5.0 或更新版本。
Hadoop远程调试
谦蓦的博客
09-25 518
Hadoop远程调试 Sun Microsystem 的 Java Platform Debugger Architecture (JPDA) 技术是一个多层架构，使您能够在各种环境中轻松调试 Java 应用程序。JPDA 由两个接口（分别是 JVM Tool Interface 和 JDI）、一个协议（Java Debug Wire Protocol）和两个用于合并它们的软件组件（后端
hadoop 2.7.3 源码分析（三）：hadoop远程调试
iblks
11-26 7005
摘要调试是学习代码流程，查找BUG，修复错误的重要方法，本文内容主要是讲述在前两篇内容的基础上如何配置Idea和hadoop以使其可以使用远程调试（打断点、逐行运行等）功能Idea 设置首先需要将hadoop源码的maven工程导入idea中（这个就不讲了），导入后呢我们可以在模块hadoop-hdfs-project 下找到hadoop namenode启动的源码（在package:org.apa
Eclipse中远程调试Hadoop必备资料
12-16
Eclipse中远程调试Hadoop必备资料:hadoop-eclipse-plugin-1.1.1和hadoop-core-1.0.2-modified；已经在eclipse-jee-juno-SR1-win32-x86_64和hadoop1.1.1 下测试过。
Hadoop 之 RM初始化、远程调试
chijianxu0423的博客
05-03 253
JAVA进程、核心的Hadoop类 1.HDFS：数据存储 org.apache.hadoop.hdfs.server.namenode.NameNode org.apache.hadoop.hdfs.server.datanode.DataNode ...
map-reduce（job提交过程，远程调试)
eyeofeagle的博客
09-24 697
mapreduce 的job远程调试 mapreduce的job提交、运行过程 part1: mapreduce 的远程调试 继续上一篇博客的 map-reduce实现map端join， 部署到集群后如何调试？ 第一步：server端配置（hadoop文件） 1, 要打包项目module为jar包, 上传到hdsf (此处我使用ubuntu , jar包放在家目录下)， 2, 再配...
hadoop java_Hadoop Java API 简单使用
weixin_35697651的博客
02-15 239
注意：jar版本，务必和远程的hadoop版本一致。maven配置文件：xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">4.0.0Hado...
hadoop eclipse debug
quguilai2006的专栏
12-16 102
export HADOOP_JOBTRACKER_OPTS="-Xdebug -Xrunjdwp:transport=dt_socket,address=8788,server=y,suspend=y"   bin/start-all.sh 如果脚本运行成功，则可以看到Shell 命令行终端显示如下信息： Listening for transport dt_socket at addr...
eclipse 远程debug tomcat web项目
weixin_34378045的博客
07-25 79
1.首先须要在linux系统tomcat/bin文件夹下配置catalina.sh这个文件里添加： CATALINA_OPTS="-Xdebug  -Xrunjdwp:transport=dt_socket,address=8787,server=y,suspend=n" 參数说明： -Xdebug                              ： 启用调试模...
hadoop远程调试方法
a11a2233445566的专栏
03-18 574
JPDA 简介 Sun Microsystem 的 Java Platform Debugger Architecture (JPDA) 技术是一个多层架构，使您能够在各种环境中轻松调试 Java 应用程序。JPDA 由两个接口（分 别是 JVM Tool Interface 和 JDI）、一个协议（Java Debug Wire Protocol）和两个用于合并它们的软件组件（后端和
Hadoop源码学习
wangqiaowqo的专栏
08-20 102
Hadoop下载地址： https://github.com/wangqiaowqo/hadoop-common 其中hadoop-core对应的工程为： hadoop-common-trunk.zip\hadoop-common-trunk\hadoop-mapreduce-project\hadoop-mapreduce-client\hadoop-mapreduce-client-...
远程调试提交到hadoop的jar包
JiajunBernoulli的博客
01-31 538
我们通常可以用hadoop jar来提交自己的jar包 hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.7.2-sources.jar org.apache.hadoop.examples.WordCount /user/root/input /user/root/output 在hadoop脚本中加入两行，打印类路径和java命令 可以看到hadoop jar本质上是对java命令的封
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值