hadoop
云枫
这个作者很懒,什么都没留下…
展开
-
hadoop1.0.2执行文件系统格式化时报ClassNotFoundException: NameNode的解决办法
最近在安装hadoop时遇到一个很郁闷的问题,就是按照网上说的方法,配置后,执行bin/Hadoop NameNode -format时总是报以下错误:Caused by: java.lang.ClassNotFoundException: NameNode at java.net.URLClassLoader$1.run(URLClassLoader.java:217)原创 2012-05-19 13:01:17 · 2458 阅读 · 0 评论 -
Ambari安装时报:Ambari agent machine hostname (localhost.localdomain) does not match expected ambari serv
Ambari配置时在Confirm Hosts的步骤时,中间遇到一个很奇怪的问题:总是报错误:Ambari agent machine hostname (localhost.localdomain) does not match expected ambari server hostname (xxx).后来修改的/etc/hosts文件中修改前:127.0.0.1 xxx原创 2014-01-17 16:27:33 · 10028 阅读 · 3 评论 -
Ambari安装
参照http://ambari.apache.org/1.2.2/installing-hadoop-using-ambari/content/ambari-chap2-1.html1、Ambari安装步骤:CentOS 6 命令行下输入:wget http://public-repo-1.hortonworks.com/ambari/centos6/1.x/GA/ambari转载 2014-01-16 16:24:28 · 8291 阅读 · 0 评论 -
java.lang.RuntimeException: java.lang.ClassNotFoundException: xxxxMapper
解决方法最近做hadoop集群试验,用的hadoop1.0.2,遇到这么个问题,将写好的jar包,放到linux上后,执行hadoop jar hadoopTest.jar test.XXXCount input output 后,运行时,会报下面的警告WARN mapred.JobClient: No job jar file set. User classes m原创 2012-11-09 16:44:22 · 14659 阅读 · 3 评论 -
在windows安装hadoop时的文件配置及注意事项
环境模拟是用cygwin搭建的,可以参考:cygwin架设SSH服务Hadoop配置:hadoop-env.sh增加:export JAVA_HOME="/cygdrive/d/java/jdk1.6.0_10"core-site.xml这个配置中的hadoop.tmp.dir必须是linux路径格式:/temp/hadooptmp(但format后,其原创 2012-10-25 14:11:51 · 1095 阅读 · 0 评论 -
putty使用密钥登陆OpenSSH
原文链接:http://blog.chinaunix.net/uid-20624264-id-1911735.html在Windows管理Linux服务器时,常使用putty登陆ssh进行远程管理。默认登陆验证方式为密码认证,该方式虽然简单,但每次登陆都要输入一长串的密码,相当麻烦。而且,如果万一把root允许登陆打开,还有可能被强力破解,导致严重的后果。 所以,通常建议用密钥登陆转载 2012-10-25 14:25:58 · 27441 阅读 · 0 评论 -
org.apache.hadoop.security.AccessControlException: Permission denied
error:org.apache.oozie.action.ActionExecutorException: JA002:org.apache.hadoop.security.AccessControlException: Permission denied: user=xxj, access=WRITE,inode="user":hadoop:supergroup:rwxr-xr-xsu原创 2012-10-26 08:11:25 · 3970 阅读 · 1 评论 -
基于Eclipse的Hadoop应用开发环境配置
原文地址:http://www.cnblogs.com/flyoung2008/archive/2011/12/09/2281400.html我的开发环境:操作系统centos5.5 一个namenode 两个datanodeHadoop版本:hadoop-0.20.203.0Eclipse版本:eclipse-java-helios-SR2-linux-gtk.tar.gz(转载 2012-05-20 17:01:41 · 1085 阅读 · 0 评论 -
Win7 eclipse Hadoop Failed to set permissions of path
hadoop1.0.2在windows远程调试linux的程序时,报错:12/04/24 15:32:44 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable12/04/24 15:3原创 2012-05-20 16:51:58 · 7241 阅读 · 7 评论 -
Hadoop 集群常见错误
原文链接:http://www.open-open.com/lib/view/open1330946781999.html这里将自己在初识hadoop过程中遇到的一些错误做一个简单总结: (一)启动hadoop集群时易出现的错误:1. 错误现象:java.net.NoRouteToHostException: No route to host. 原因:master服务转载 2012-05-20 15:45:33 · 2317 阅读 · 0 评论 -
weblogic 12c下使用hadoop时jar包冲突的两个问题的解决办法
1. 在使用hadoop时,出现jar包冲突,报错信息如下:Caused by: java.lang.NoSuchMethodError: com.google.common.util.concurrent.MoreExecutors.sameThreadExecutor()Lcom/google/common/util/concurrent/ListeningExecutorService;原创 2014-05-13 18:41:19 · 7988 阅读 · 0 评论