本地环境配置
核心是增加namenode启动调试参数
export HADOOP_NAMENODE_OPTS="${HADOOP_NAMENODE_OPTS} -Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=n,address=8005"
一般namenode启动命令有 sbin/hadoop-daemon.sh start namenode
和 ·service hadoop-hdfs-namenode start ` 两种方式。
遇到的问题:
- sbin环境启动,环境变量会被重复设置
例如:
hadoop-daemon.sh ->
. $HADOOP_LIBEXEC_DIR/hadoop-config.sh ->
. "${HADOOP_CONF_DIR}/hadoop-env.sh". // env 被设置
hadoop-daemon.sh -> . "${HADOOP_CONF_DIR}/hadoop-env.sh" // env 再次被设置
可以暂时用强制在sbin/daemon.sh中设置namenode参数解决
export HADOOP_NAMENODE_OPTS='-Dhadoop.security.logger=INFO,RFAS -Dhdfs.audit.logger=INFO,NullAppender -Dhadoop.security.logger=INFO,RFAS -Dhdfs.audit.logger=INFO,NullAppender -Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=n,address=8005'