Hadoop
STU756
这个作者很懒,什么都没留下…
展开
-
【Hadoop基础】hadoop fs 命令
1,hadoop fs –fs [local | ]:声明hadoop使用的文件系统,如果不声明的话,使用当前配置文件配置的,按如下顺序查找:hadoop jar里的hadoop-default.xml->$HADOOP_CONF_DIR下的hadoop-default.xml->$HADOOP_CONF_DIR下的hadoop-site.xml。使用local代表将本地文件系统作为hadoop的转载 2015-11-05 19:49:56 · 424 阅读 · 0 评论 -
模拟namenode宕机:数据块损坏,该如何修复
from:http://www.aboutyun.com/thread-7437-1-1.html(出处: about云开发)数据块损坏,有很多同学想修复,但是不知道方法,首先我们看下面一段话:有了block,提供数据容错和可用性的冗余备份(replication)机制可以更好的工作。在HDFS中,为了防止数据块损坏,或者磁盘及机器当机,每一个block在不同机器上转载 2016-03-03 13:48:43 · 1206 阅读 · 0 评论 -
PriviledgedActionException as:Administrator cause:java.io.IOException
在windows下用Eclipse运行MapReduce程序会报错:12/04/24 15:32:44 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable12/04/24 15:转载 2015-11-16 21:08:30 · 4046 阅读 · 1 评论 -
org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot delete
转载自:http://hi.baidu.com/zhy65991/item/8428013fcf459e342f0f8158safemode模式 NameNode在启动的时候首先进入安全模式,如果datanode丢失的block达到一定的比例(1-dfs.safemode.threshold.pct),则系统会一直处于安全模式状态即只读状态。 dfs.safemode.threshold.pct转载 2015-10-23 00:54:35 · 2777 阅读 · 0 评论 -
org.apache.hadoop.security.AccessControlException: Permission denied:
from:http://blog.itpub.net/28598517/viewspace-767726/在windows机器上配置eclipse连接hadoop服务器。配置map/reduce连接后报以下错误,org.apache.hadoop.security.AccessControlException: Permission denied:处理方转载 2015-10-23 00:47:02 · 462 阅读 · 0 评论 -
Hadoop 解除 “Name node is in safe mode”
from:http://www.linuxidc.com/Linux/2012-03/57735.htm之前在Hadoop执行过程中使用了"ctrl+c"操作再次使用hadoop时出现“Name node is in safe mode”提示:root@www.linuxidc.com:~/hadoop/hadoop-0.20.2# bin/hadoop fs -put c转载 2015-10-23 00:23:34 · 571 阅读 · 0 评论 -
win7上eclipse 远程调用 hadoop(2.6.0)
1.java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binariesHADOOP_HOME的问题。如果HADOOP_HOME为空,必然fullExeName为null\bin\winutils.exe。解决方法很简单,配置环境变量。把相应下载的hadoop-common原创 2016-11-21 22:12:38 · 433 阅读 · 0 评论