hadoop学习笔记
明耀先森
乐观,开朗,喜欢编码
展开
-
配置haoop,datanode启动不了解决方式
datanode启动不了最常见的原因是namenode格式化两次或者两次以上,导致 DataNode的namespaceID (位于/hdfs/data/current/VERSION文件中)和NameNode的namespaceID(位于/hdfs/name/current/VERSION文件中)不一致解决方法:第一种方法:删除DataNode的所有资料(及将集群中每个datanod原创 2015-06-16 12:09:46 · 731 阅读 · 0 评论 -
配置ssh时sshd不能启动解决办法
问题: ssh-service已经安装但是遇到 通过以下命令启动ssh服务service ssh start/etc/init.d/ssh start如果发现SSHD(SSH-SERVER)服务依然没有起来解决办法: 修改SSH_CONFIG文件vi /etc/ssh/ssh_config原创 2015-06-25 22:07:36 · 14085 阅读 · 0 评论 -
hadoop HDFS结构
主从结构 主节点只有一个:namenode 从节点有多个:datanode namenode负责: 接收用户操作请求 维护文件系统的目录结构 管理文件与block之间的关系,管理block和datanode之间的关系 datanode负责: 存储文件原创 2015-06-10 16:14:51 · 394 阅读 · 0 评论 -
HDFS的可靠性
冗余副本策略机架策略心跳机制:1. hadoop集群是master/slave模式,master包括Namenode和Jobtracker,slave包括Datanode和Tasktracker。2. master启动的时候,会开一个ipc server在那里,等待slave心跳。3. slave启动时,会连接master,并每隔3秒钟主动向master发送一个“心跳”,这个时原创 2015-07-09 21:06:43 · 1345 阅读 · 0 评论