Hadoop集群搭建格式化出现错误

Hadoop集群搭建出现以下错误:

19/02/06 17:46:22 ERROR conf.Configuration: error parsing conf mapred-site.xml
com.ctc.wstx.exc.WstxParsingException: Unexpected close tag </configuration>; expected </property>.
 at [row,col,system-id]: [23,15,"file:/usr/local/hadoop/etc/hadoop/mapred-site.xml"]
	at com.ctc.wstx.sr.StreamScanner.constructWfcException(StreamScanner.java:621)
	at com.ctc.wstx.sr.StreamScanner.throwParseError(StreamScanner.java:491)
	at com.ctc.wstx.sr.StreamScanner.throwParseError(StreamScanner.java:475)
	at com.ctc.wstx.sr.BasicStreamReader.reportWrongEndElem(BasicStreamReader.java:3365)
	at com.ctc.wstx.sr.BasicStreamReader.readEndElem(BasicStreamReader.java:3292)
	at com.ctc.wstx.sr.BasicStreamReader.nextFromTree(BasicStreamReader.java:2911)
	at com.ctc.wstx.sr.BasicStreamReader.next(BasicStreamReader.java:1123)
	at org.apache.hadoop.conf.Configuration.loadResource(Configuration.java:2796)
	at org.apache.hadoop.conf.Configuration.loadResources(Configuration.java:2725)
	at org.apache.hadoop.conf.Configuration.getProps(Configuration.java:2605)
	at org.apache.hadoop.conf.Configuration.get(Configuration.java:1103)
	at org.apache.hadoop.conf.Configuration.getTrimmed(Configuration.java:1157)
	at org.apache.hadoop.conf.Configuration.getLong(Configuration.java:1434)
	at org.apache.hadoop.security.Groups.<init>(Groups.java:112)
	at org.apache.hadoop.security.Groups.<init>(Groups.java:101)
	at org.apache.hadoop.security.Groups.getUserToGroupsMappingService(Groups.java:449)
	at org.apache.hadoop.security.UserGroupInformation.initialize(UserGroupInformation.java:327)
	at org.apache.hadoop.security.UserGroupInformation.ensureInitialized(UserGroupInformation.java:294)
	at org.apache.hadoop.security.UserGroupInformation.isAuthenticationMethodEnabled(UserGroupInformation.java:381)
	at org.apache.hadoop.security.UserGroupInformation.isSecurityEnabled(UserGroupInformation.java:375)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.format(NameNode.java:1126)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1614)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1741)
19/02/06 17:46:22 ERROR namenode.NameNode: Failed to start namenode.
java.lang.RuntimeException: com.ctc.wstx.exc.WstxParsingException: Unexpected close tag </configuration>; expected </property>.
 at [row,col,system-id]: [23,15,"file:/usr/local/hadoop/etc/hadoop/mapred-site.xml"]
	at org.apache.hadoop.conf.Configuration.loadResource(Configuration.java:2961)
	at org.apache.hadoop.conf.Configuration.loadResources(Configuration.java:2725)
	at org.apache.hadoop.conf.Configuration.getProps(Configuration.java:2605)
	at org.apache.hadoop.conf.Configuration.get(Configuration.java:1103)
	at org.apache.hadoop.conf.Configuration.getTrimmed(Configuration.java:1157)
	at org.apache.hadoop.conf.Configuration.getLong(Configuration.java:1434)
	....
	Exception in thread "Thread-1" java.lang.RuntimeException: com.ctc.wstx.exc.WstxParsingException: Unexpected close tag </configuration>; expected </property>.
 at [row,col,system-id]: [23,15,"file:/usr/local/hadoop/etc/hadoop/mapred-site.xml"]
	at org.apache.hadoop.conf.Configuration.loadResource(Configuration.java:2961)
	at org.apache.hadoop.conf.Configuration.loadResources(Configuration.java:2725)
	at org.apache.hadoop.conf.Configuration.getProps(Configuration.java:2605)
	at org.apache.hadoop.conf.Configuration.get(Configuration.java:1103)
	at org.apache.hadoop.conf.Configuration.getTimeDuration(Configuration.java:1690)
	at org.apache.hadoop.util.ShutdownHookManager.getShutdownTimeout(ShutdownHookManager.java:183)
	at org.apache.hadoop.util.ShutdownHookManager.shutdownExecutor(ShutdownHookManager.java:145)
	at org.apache.hadoop.util.ShutdownHookManager.access$300(ShutdownHookManager.java:65)
	at org.apache.hadoop.util.ShutdownHookManager$1.run(ShutdownHookManager.java:102)
Caused by: com.ctc.wstx.exc.WstxParsingException: Unexpected close tag </configuration>; expected </property>.
 at [row,col,system-id]: [23,15,"file:/usr/local/hadoop/etc/hadoop/mapred-site.xml"]
	at com.ctc.wstx.sr.StreamScanner.constructWfcException(StreamScanner.java:621)
	at com.ctc.wstx.sr.StreamScanner.throwParseError(StreamScanner.java:491)
	at com.ctc.wstx.sr.StreamScanner.throwParseError(StreamScanner.java:475)
	at com.ctc.wstx.sr.BasicStreamReader.reportWrongEndElem(BasicStreamReader.java:3365)
	at com.ctc.wstx.sr.BasicStreamReader.readEndElem(BasicStreamReader.java:3292)
	at com.ctc.wstx.sr.BasicStreamReader.nextFromTree(BasicStreamReader.java:2911)
	at com.ctc.wstx.sr.BasicStreamReader.next(BasicStreamReader.java:1123)
	at org.apache.hadoop.conf.Configuration.loadResource(Configuration.java:2796)
	... 8 more

这个错误可能是在文件配置时有错误,错误中有提示是哪个文件配置出现了错误,我这个错误是在配置mapred-site.xml时,少写了</property>,害自己花了好长时间找错误。

  • 13
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Hadoop集群搭建中,格式化HDFS的具体过程如下: 1. 打开终端或命令行界面,通过SSH登录到Hadoop集群的主节点上。 2. 确保Hadoop集群的所有节点都正常运行,并且网络连接正常。 3. 进入Hadoop的安装目录,通常为`/opt/hadoop/`或自定义的目录。 4. 找到`hadoop/bin`目录下的`hdfs`脚本文件,执行以下格式化命令: ``` ./hdfs namenode -format ``` 这将启动HDFS格式化过程。 5. 格式化过程会生成初始的文件系统元数据,同时会清空HDFS上的所有数据。在执行格式化命令时,系统会提示确认是否继续。输入`Y`或`yes`确认继续。 6. 格式化过程可能需要一些时间,具体时间取决于Hadoop集群的规模和配置。期间可以观察终端输出,以了解格式化的进度和状态。 7. 格式化完成后,可以通过执行以下命令启动HDFS服务: ``` ./start-dfs.sh ``` 这将启动HDFS的各个组件,包括NameNode、Secondary NameNode和DataNode。 8. 可以通过执行以下命令验证HDFS的状态: ``` ./hdfs dfsadmin -report ``` 这将显示HDFS集群的状态信息,包括NameNode的活跃状态、DataNode的数量等。 完成上述步骤后,HDFS就已经成功格式化并启动。可以通过执行一些HDFS相关的命令或运行示例程序,验证Hadoop集群的正常运行。 需要注意的是,格式化HDFS会清空HDFS上的所有数据,请确保在执行格式化命令之前进行备份,并确保确认操作无误。此外,格式化HDFS只需要在集群首次搭建或重新搭建时执行一次,后续的启动不需要再进行格式化操作。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值