HDFS架构
HDFS也是按照Master和Slave的结构,分namenode,secondarynamenode,datanode这几个角色。
Namenode:是maseter节点,是大领导。管理数据快映射;处理客户端的读写请求;
Datanode:slave节点,负责存储cliet发来的数据块block;
secondarynamenode:分担namenode的任务量,属于namenode的冷备份
问题介绍
在hadoop集群搭建好之后,通过使用hdfs dfs -put /abc.txt /命令向HDFS上传文件的时候,发现出现失败
大致的问题描述就是,master上没有datanode,数据上传上去没有存储的地方。通过 hdfs dfs -dfsadmin report 查看也发现无法显示相关数据
解决手段
出现这种情况一般都是在hadoop平台搭建的过程中,/etc/hosts配置出现错误,进入/etc/hosts文件目录下,将 127.0.1.1 master这一行注释掉就可以了
重新启动hadoop,发现可以上传东西了。