hadoop配置遇到问题的解决

本文档详细记录了在配置Hadoop过程中遇到的问题及解决方案,包括ssh localhost登陆失败、伪分布式datanode启动错误、无法解析主机、JDK设置、Datanode权限问题、Eclipse运行示例程序内存不足、protoc版本不符等,并提供了相应的解决步骤和命令。
摘要由CSDN通过智能技术生成

1. ssh localhost: 不能登陆:将错误提示中的文件全部删除。原因:登陆过远程主机


2. 问题: 伪分布式datanode启动不了:在datanode的log日志文件出现以下错误提示:

        ERROR org.apache.hadoop.metrics2.impl.MetricsSystemImpl: Error getting localhost name. Using 'localhost'...java.net.UnknownHostException: localhost: slave01: Name or service not known

       其中 在hdfs-site.xm中的配置是dfs.name.dir是/usr/local/hadoop/hdfs/name. dfs.data.dir是/usr/local/hadoop/hdfs/data              

理解知识:

对于第一次使用HDFS,在启动NameNode时,需要先执行-format命令,然后才能正常启动NameNode节点的服务。

在NameNode节点上,有两个最重要的路径,分别被用来存储元数据信息和操作日志,而这两个路径来自于配置文件,它们对应的属性分别是dfs.name.dirdfs.name.edits.dir,同时,它们默认的路径均是/tmp/hadoop/dfs/name

NameNode的format操作做了什么

 
执行文件系统格式化时,会在namenode数据文件夹(即配置文件中dfs.name.dir在本地系统的路径)中保存一个current/VERSION文件,记录namespaceID,标识了所格式化的namenode的版本。如果我们频繁的格式化namenode,那么datanode中保存(即配置文件中dfs.data.dir在本地系统的路径)的current/VERSION文件只是你第一次格式化时保存的namenode的ID,因此就会造成datanode与namenode之间的id不一致。导致datanode无法启动。 在"Master.Hadoop"上使用 普通用户 hadoop进行操作。( 备注:只需一次,下次启动不再需要格式化,只需 start-all.sh)

解决方法:伪分布式下datanode无法启动问题 修改id   http://blog.sina.com.cn/s/blog_76fbd24d01017qmc.html

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值