![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 54
starfe-geek
屌丝程序员
展开
-
hadoop datanode启动失败(All directories in dfs.data.dir are invalid)
由于hadoop节点的磁盘满了,导致节点死掉,今天对其进行扩容。首先,将原节点的数据拷贝到目标节点下,从而避免数据的丢失,但是在执行hadoop_daemon.sh start datanode后没有启动datanode,查看log如下: 2014-04-17 11:44:06,200 WARN org.apache.hadoop.hdfs.server.datanode.DataNode:原创 2014-04-17 15:57:34 · 7084 阅读 · 0 评论 -
为datanode配置多个数据存储地
datanode配置多个数据存储地址,涉及到以下两个配置项 dfs.name.dir Determines where on the local filesystem the DFS name node should store the name table(fsimage). If this is a comma-delimited list of directories then th原创 2014-04-17 16:44:02 · 8540 阅读 · 0 评论 -
hadoop异常:Be Replicated to 0 nodes, instead of 1
Hadoop 坑爹的Be Replicated to 0 nodes, instead of 1 异常 Java代码 org.apache.hadoop.ipc.RemoteException: java.io.IOException: File /xxx/xxx/xx could only be replicated to 0 nodes, i转载 2014-05-10 23:26:11 · 524 阅读 · 0 评论 -
hadoop Namenode因硬盘写满无法启动
当写元数据的分区写满,可能导致namenode挂掉从而导致及时清理出大块的空间也无法启动namenode,那此时系统namenode会报错 org.apache.hadoop.hdfs.server.namenode.NameNode: java.lang.NumberFormatException: For input string:“” 这是因为edit文件错误,此时执行 prin转载 2014-07-16 12:38:36 · 863 阅读 · 0 评论 -
hadoop2.x安装配置
1.首先准备hadoop2.2.0的安装包,从官网获取,略。 2.加压原创 2014-06-30 12:16:01 · 4108 阅读 · 1 评论 -
hadoop部署之防火墙
在部署hadoop时,好多资料上都写了要guanb原创 2014-07-30 16:09:12 · 4758 阅读 · 1 评论 -
org.apache.hadoop.hbase.NotServingRegionException: Region is not online 错误
当遇到如下错误的时候 可能以为是regionserver 挂掉或者其他原因导致连接不上regionserver 但后面提示了Hbase 表statistic_login 具体信息 Thu Jan 17 15:30:12 CST 2013, org.apache.hadoop.hbase.client.ScannerCallable@5ec136e9, org.apache.hadoop.h转载 2014-07-30 16:55:38 · 5307 阅读 · 0 评论 -
$HADOOP_HOME/bin/hadoop脚本文件分析
#!/usr/bin/env bash # Licensed to the Apache Software Foundation (ASF) under one or more # contributor license agreements. See the NOTICE file distributed with # this work for additional information原创 2014-08-11 13:00:13 · 7300 阅读 · 1 评论 -
机架感知
1.背景 Hadoop在设计时考虑到数据的安全与高效,数据文件默认在HDFS上存放三份,存储策略为本地一份,同机架内其它某一节点上一份,不同机架的某一节点上一份。这样如果本地数据损坏,节点可以从同一机架内的相邻节点拿到数据,速度肯定比从跨机架节点上拿数据要快;同时,如果整个机架的网络出现异常,也能保证在其它机架的节点上找到数据。为了降低整体的带宽消耗和读取延时,HDFS会尽量让读转载 2014-09-18 15:56:49 · 4303 阅读 · 0 评论