Hadoop
lida_java
这个作者很懒,什么都没留下…
展开
-
启动hadoop报No Route to Host from lida1/10.30.12.87 to lida3:8485 failed on socket timeout exception:
问题:启动hadoop启动时有个NN始终起不来。查看日志,发现报错如下:2016-05-04 15:12:27,837 WARN org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Get corrupt file blocks returned error: Operation category READ is not support原创 2016-05-04 18:06:53 · 3681 阅读 · 0 评论 -
本地mapReduce项目报错:java.lang.NullPointerException at java.lang.ProcessBuilder.start...
问题:java.lang.NullPointerExceptionat java.lang.ProcessBuilder.start(ProcessBuilder.java:1012)at org.apache.hadoop.util.Shell.runCommand(Shell.java:482)at org.apache.hadoop.util.Shell.run(Shell.原创 2015-10-01 21:04:36 · 6297 阅读 · 0 评论 -
eclipse链接hadoop2.5.1时报错Error:Call From roo/10.30.12.xxx to hostname1:9000 failed on connection excep
问题:我用eclipse(Mar.2 Release(4.5.2))连接hadoop2.5.1时报错:Error:Call From roo/10.30.12.xxx to hostname1:9000 failed on connection exception:java.net.ConnectException:Connection refused:no further information原创 2016-04-28 16:52:01 · 7129 阅读 · 3 评论 -
详述执行map reduce 程序的步骤(本地执行MR、服务器上执行MR)
MR程序的执行环境有两种:本地测试环境、服务器环境。 1、本地环境执行MR程序的步骤: (1)在windows下配置hadoop的环境变量 (2)拷贝debug工具(winutils)到HADOOP_HOME/bin (3)从源码中拷贝org.apache.hadoop.io.nativeio.NativeIO.java到我们的mr的src目录下原创 2016-05-11 12:00:27 · 7715 阅读 · 0 评论 -
zkfc报错:java.net.NoRouteToHostException: No route to host
问题:启动zkfc后立马就挂了,查看日志,发现报错如下:2016-05-12 17:15:34,452 INFO org.apache.zookeeper.ClientCnxn: Opening socket connection to server lida1/10.30.12.169:2181. Will not attempt to authenticate using SASL (原创 2016-05-12 17:31:54 · 5540 阅读 · 0 评论 -
用xshell5连接vmware10+centos6.7时报Could not connect to '192.168.54.100' (port 22): Connection failed的解法
我在用xshell5连接vmware10上的centos6.7时报了上面的错。报这个错让我感觉很莫名其妙,因为虚拟机能ping通 宿主机,宿主机也能ping通虚拟机,而且如下图:,百思不得其解,也找不到解决办法,直到我看到一篇文章—http://www.cnblogs.com/Leo_wl/p/4385381.html。然后,我关了防火墙,重启了ssh,解决了上面的问题。原创 2015-08-27 14:41:52 · 68460 阅读 · 5 评论 -
xshell5连接centos6.7时提示服务器拒绝了密码的解决办法
我用xshell5连接centos6.7时,提示“服务器拒绝了密码“。在网上找了很多方法都没有解决该问题,冷静下来一想是不是centos下没有这个用户了呐?于是赶紧验证一下我的猜测,结果发现centos下没有这个账户了,因此,你不管登陆多少次都会出现上面的错误。 解决办法:1、用别的用户名和密码登陆。2、新建个有特定权限的用户。原创 2015-08-28 11:44:16 · 7084 阅读 · 0 评论 -
搭建hdfsHA时遇到的问题及其解决方案
问题:1、 ERROR namenode.FSNamesystem: FSNamesystem initialization failed.java.io.IOException: Invalid configuration: a shared edits dir must not be specified if HA is not enabled.出现原因:h原创 2015-09-30 15:31:58 · 11676 阅读 · 4 评论 -
本地mapReduce项目报错:java.io.IOException: Unable to establish loopback connection;
问题:java.io.IOException: Unable to establish loopback connection;出现原因:本地防火墙阻止了IO流。解决方法:关闭本地防火墙。原创 2015-10-03 09:15:14 · 8686 阅读 · 2 评论 -
Hadoop-2.5+Hbase-0.98报错:java.lang.RuntimeException: Failed construction of Master: class org.apache.
问题:java.lang.RuntimeException: Failed construction of Master: class org.apache.hadoop.hbase.master.HMasterat org.apache.hadoop.hbase.master.HMaster.constructMaster(HMaster.java:3015)at org.apach原创 2015-10-05 14:07:07 · 6143 阅读 · 0 评论 -
一个namenode能正常启动,状态为active,另一个namenode无法启动
简介:我在搭建hadoop2.5.1的HDFS(HA With QJM)时遇到了上述问题。在此先强调一点:我之前做过HA,现在要重做。 问题:格式化namenode(起个别名,就叫甲吧)后,用hdfs namenode -bootstrapStandby的方式把格式化产生的源数据copy到另外一个namenode(乙)上。用start-dfs.sh的方式启动hdfs后,发现甲正常启动,乙原创 2016-04-28 11:32:24 · 3466 阅读 · 0 评论 -
启动hadoop报ERROR org.apache.hadoop.hdfs.server.namenode.FSImage: Failed to load image from FSImageFile
问题:重启所有服务器后,在启动hadoop集群时发现namenode(standby)始终启动不了,查看日志发现报错:ERROR org.apache.hadoop.hdfs.server.namenode.FSImage: Failed to load image from FSImageFile,详细报错信息如下:2016-04-29 18:01:03,770 WARN org.apach原创 2016-04-29 11:31:53 · 8162 阅读 · 5 评论 -
linux采用NAT的连接方式连接网络时,宿主机能ping通虚拟机,虚拟机ping不通宿主机
问题:linux采用NAT的连接方式连接网络时,宿主机能ping通虚拟机,虚拟机ping不通宿主机。 出现原因:采用NAT方式连接网络或宿主机开启了防火墙。 解决办法:采用桥接方式连接网络或关闭防火墙。原创 2016-05-01 21:38:28 · 2139 阅读 · 1 评论 -
Hive+mySql遇到的问题和解决办法
问题1:Exception in thread "main" java.lang.RuntimeException: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.StandbyException): Operation category READ is not supported in state standby.原创 2015-10-03 17:31:10 · 6072 阅读 · 2 评论