hadoop
情何以堪_123
这个作者很懒,什么都没留下…
展开
-
hadoop环境搭建
1.准备Linux环境 1.0先将虚拟机的网络模式选为NAT 1.1修改主机名 vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=itcast ### 1.2修改IP 两种方式: 第一种:通过Linux图形界面进行修改(强烈推荐) 进入Linux图形界面 -> 右键点击右上方的两个小电脑 -> 点击Edit原创 2017-10-16 22:26:43 · 138 阅读 · 0 评论 -
hadoop datanode节点超时时间设置
hadoop datanode节点超时时间设置 datanode进程死亡或者网络故障造成datanode无法与namenode通信,namenode不会立即把该节点判定为死亡,要经过一段时间,这段时间暂称作超时时长。HDFS默认的超时时长为10分钟+30秒。如果定义超时时间为timeout,则超时时长的计算公式为: timeout = 2 * heartbeat.recheck.in原创 2017-10-29 13:08:03 · 257 阅读 · 0 评论 -
hadoop安装部署问题总结
hadoop的日志目录(/home/hadoop/app/hadoop-2.6.4/logs) 1、hadoop启动不正常 用浏览器访问namenode的50070端口,不正常,需要诊断问题出在哪里: a、在服务器的终端命令行使用jps查看相关进程 (namenode1个节点 datanode3个节点 secondary namenode1个节点) b、如果已经知道了启动原创 2017-10-29 13:10:31 · 417 阅读 · 0 评论 -
HDFS冗余数据块的自动删除
在日常维护hadoop集群的过程中发现这样一种情况: 某个节点由于网络故障或者DataNode进程死亡,被NameNode判定为死亡,HDFS马上自动开始数据块的容错拷贝;当该节点重新添加到集群中时,由于该节点上的数据其实并没有损坏,所以造成了HDFS上某些block的备份数超过了设定的备份数。通过观察发现,这些多余的数据块经过很长的一段时间才会被完全删除掉,那么这个时间取决于什么呢? 该时间原创 2017-10-29 13:11:34 · 248 阅读 · 0 评论 -
HDFS基本概念篇
目录 课程大纲(HDFS详解) 2 1. HDFS前言 3 2. HDFS的概念和特性 3 3. HDFS的shell(命令行客户端)操作 4 3.1 HDFS命令行客户端使用 4 3.2命令行客户端支持的命令参数 4 3.2 常用命令参数介绍 5 4. hdfs的工作机制 8 4.1 概述: 8 4.2 HDFS写数据流程 9 4.2.1 概述 9 4.2.2 详细步骤图转载 2017-10-29 15:31:13 · 1212 阅读 · 0 评论