hadoop部署错误

最新推荐文章于 2021-02-05 23:55:36 发布
最新推荐文章于 2021-02-05 23:55:36 发布
阅读量137 收藏
点赞数
文章标签： 大数据 java 运维

hadoop的单机部署很简单也不容易出错，但是对生产环境的价值和意义不大，但是可以快速用于开发。

部署hadoop的错误原因不少，并且很奇怪。

比如，用户名不同，造成客户端和服务器通讯产生认证失败的错误，客户端，服务器各节点的用户名应当是一致的，并且个节点应该建立ssh的无认证登陆。

一、出现下面错误：

13/07/09 13:57:07 INFO ipc.Client: Retrying connect to server: master/192.168.2.200:9000. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)

或

java.net.ConnectException: Call to master/192.168.2.200:9000 failed on connection exception: java.net.ConnectException: Connection refused
        at org.apache.hadoop.ipc.Client.wrapException(Client.java:1136)
        at org.apache.hadoop.ipc.Client.call(Client.java:1112)
        at org.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.java:229)
        at com.sun.proxy.$Proxy7.renewLease(Unknown Source)
        at sun.reflect.GeneratedMethodAccessor23.invoke(Unknown Source)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:601)
        at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:85)
        at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:62)
        at com.sun.proxy.$Proxy7.renewLease(Unknown Source)
        at org.apache.hadoop.hdfs.DFSClient.renewLease(DFSClient.java:379)
        at org.apache.hadoop.hdfs.LeaseRenewer.renew(LeaseRenewer.java:378)
        at org.apache.hadoop.hdfs.LeaseRenewer.run(LeaseRenewer.java:400)
        at org.apache.hadoop.hdfs.LeaseRenewer.access$600(LeaseRenewer.java:69)
        at org.apache.hadoop.hdfs.LeaseRenewer$1.run(LeaseRenewer.java:273)
        at java.lang.Thread.run(Thread.java:722)
Caused by: java.net.ConnectException: Connection refused
        at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method)
        at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:719)
        at org.apache.hadoop.net.SocketIOWithTimeout.connect(SocketIOWithTimeout.java:206)
        at org.apache.hadoop.net.NetUtils.connect(NetUtils.java:511)
        at org.apache.hadoop.net.NetUtils.connect(NetUtils.java:481)
        at org.apache.hadoop.ipc.Client$Connection.setupConnection(Client.java:453)
        at org.apache.hadoop.ipc.Client$Connection.setupIOstreams(Client.java:579)
        at org.apache.hadoop.ipc.Client$Connection.access$2100(Client.java:202)
        at org.apache.hadoop.ipc.Client.getConnection(Client.java:1243)
        at org.apache.hadoop.ipc.Client.call(Client.java:1087)
        ... 14 more

是客户端无法连接服务器造成的，可能是服务器没有启动或者启动了防火墙。

二、出现下面错误：

13/07/09 13:57:36 ERROR hdfs.DFSClient: Failed to close file /tmp/web304069331.log
org.apache.hadoop.ipc.RemoteException: java.io.IOException: File /tmp/web304069331.log could only be replicated to 0 nodes, instead of 1
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:1920)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.addBlock(NameNode.java:783)
        at sun.reflect.GeneratedMethodAccessor6.invoke(Unknown Source)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:606)
        at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:587)
        at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1432)
        at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1428)
        at java.security.AccessController.doPrivileged(Native Method)
        at javax.security.auth.Subject.doAs(Subject.java:415)
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1190)
        at org.apache.hadoop.ipc.Server$Handler.run(Server.java:1426)

        at org.apache.hadoop.ipc.Client.call(Client.java:1107)
        at org.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.java:229)
        at com.sun.proxy.$Proxy7.addBlock(Unknown Source)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:601)
        at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:85)
        at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:62)
        at com.sun.proxy.$Proxy7.addBlock(Unknown Source)
        at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.locateFollowingBlock(DFSClient.java:3720)
        at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.nextBlockOutputStream(DFSClient.java:3580)
        at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.access$2600(DFSClient.java:2783)
        at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream$DataStreamer.run(DFSClient.java:3023)
原因很多，namenode节点和datanode节点不能正常通讯造成的。根据查询启动日志看到datanode节点没有办法解析机器名造成的，所以修改/etc/hostname和/etc/hosts文件。

三、出现一下错误：

13/07/09 13:59:01 INFO hdfs.DFSClient: Exception in createBlockOutputStream 192.168.2.201:50010 java.net.SocketTimeoutException: 63000 millis timeout while waiting for channel to be ready for connect. ch : java.nio.channels.SocketChannel[connection-pending remote=/192.168.2.201:50010]
13/07/09 13:59:01 INFO hdfs.DFSClient: Abandoning blk_-6965665250189110825_1679
13/07/09 13:59:01 INFO hdfs.DFSClient: Excluding datanode 192.168.2.201:50010
13/07/09 13:59:01 WARN hdfs.DFSClient: DataStreamer Exception: org.apache.hadoop.ipc.RemoteException: java.io.IOException: File /tmp/web465901718.log could only be replicated to 0 nodes, instead of 1
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:1920)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.addBlock(NameNode.java:783)
        at sun.reflect.GeneratedMethodAccessor6.invoke(Unknown Source)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:606)
        at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:587)
        at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1432)
        at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1428)
        at java.security.AccessController.doPrivileged(Native Method)
        at javax.security.auth.Subject.doAs(Subject.java:415)
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1190)
        at org.apache.hadoop.ipc.Server$Handler.run(Server.java:1426)

        at org.apache.hadoop.ipc.Client.call(Client.java:1107)
        at org.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.java:229)
        at com.sun.proxy.$Proxy7.addBlock(Unknown Source)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:601)
        at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:85)
        at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:62)
        at com.sun.proxy.$Proxy7.addBlock(Unknown Source)
        at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.locateFollowingBlock(DFSClient.java:3720)
        at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.nextBlockOutputStream(DFSClient.java:3580)
        at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.access$2600(DFSClient.java:2783)
        at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream$DataStreamer.run(DFSClient.java:3023)

13/07/09 13:59:01 WARN hdfs.DFSClient: Error Recovery for blk_-6965665250189110825_1679 bad datanode[0] nodes == null
13/07/09 13:59:01 WARN hdfs.DFSClient: Could not get block locations. Source file "/tmp/web465901718.log" - Aborting...
org.apache.hadoop.ipc.RemoteException: java.io.IOException: File /tmp/web465901718.log could only be replicated to 0 nodes, instead of 1
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:1920)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.addBlock(NameNode.java:783)
        at sun.reflect.GeneratedMethodAccessor6.invoke(Unknown Source)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:606)
        at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:587)
        at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1432)
        at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1428)
        at java.security.AccessController.doPrivileged(Native Method)
        at javax.security.auth.Subject.doAs(Subject.java:415)
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1190)
        at org.apache.hadoop.ipc.Server$Handler.run(Server.java:1426)

        at org.apache.hadoop.ipc.Client.call(Client.java:1107)
        at org.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.java:229)
        at com.sun.proxy.$Proxy7.addBlock(Unknown Source)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:601)
        at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:85)
        at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:62)
        at com.sun.proxy.$Proxy7.addBlock(Unknown Source)
        at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.locateFollowingBlock(DFSClient.java:3720)
        at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.nextBlockOutputStream(DFSClient.java:3580)
        at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.access$2600(DFSClient.java:2783)
        at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream$DataStreamer.run(DFSClient.java:3023)
^C七月 09, 2013 2:00:46 下午 org.apache.coyote.AbstractProtocol pause
INFO: Pausing ProtocolHandler ["http-bio-8080"]
七月 09, 2013 2:00:46 下午 org.apache.coyote.AbstractProtocol pause
INFO: Pausing ProtocolHandler ["ajp-bio-8009"]
七月 09, 2013 2:00:46 下午 org.apache.catalina.core.StandardService stopInternal
INFO: Stopping service Catalina
13/07/09 14:00:46 ERROR hdfs.DFSClient: Failed to close file /tmp/web465901718.log
org.apache.hadoop.ipc.RemoteException: java.io.IOException: File /tmp/web465901718.log could only be replicated to 0 nodes, instead of 1
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:1920)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.addBlock(NameNode.java:783)
        at sun.reflect.GeneratedMethodAccessor6.invoke(Unknown Source)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:606)
        at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:587)
        at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1432)
        at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1428)
        at java.security.AccessController.doPrivileged(Native Method)
        at javax.security.auth.Subject.doAs(Subject.java:415)
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1190)
        at org.apache.hadoop.ipc.Server$Handler.run(Server.java:1426)

        at org.apache.hadoop.ipc.Client.call(Client.java:1107)
        at org.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.java:229)
        at com.sun.proxy.$Proxy7.addBlock(Unknown Source)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:601)
        at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:85)
        at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:62)
        at com.sun.proxy.$Proxy7.addBlock(Unknown Source)
        at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.locateFollowingBlock(DFSClient.java:3720)
        at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.nextBlockOutputStream(DFSClient.java:3580)
        at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.access$2600(DFSClient.java:2783)
        at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream$DataStreamer.run(DFSClient.java:3023)
七月 09, 2013 2:00:46 下午 org.apache.catalina.loader.WebappClassLoader clearReferencesThreads

是因为客户端与数据节点通讯失败造成的。客户端程序应该能够和所有的节点通讯才能保证数据的传输正常。

四、hadoop namenode -format时出现：

Format aborted in /home/cnsworder/hadoop/name

删除掉这个文件夹重新格式化。

iteye_7527
关注
部署hadoop时常见错误解决
屁屁熊的专栏
11-16 724
1. 运行代码时Authenticate错误   进入hadoop安装目录的src目录下对pipes和utils重新编译，   ./configure make install 第一步时会遇到提示没有找到libssl.so 确认/usr/lib/目录下有这个链接库，如果有的话直接在configure 报错那行注释掉exit，没有的话装一个openssl 然后编译hadoop代码时用sr
Linux的hadoop集群部署
最新发布
m0_72898512的博客
10-12 1273
命令: wget https://mirrors.aliyun.com/apache/hadoop/common/hadoop-3.4.0/hadoop-3.4.0.tar.gz。五:修改配置文件hadoop-env.sh 命令: vi /export/server/hadoop-3.4.0/etc/hadoop/hadoop-env.sh。命令: ln -s /export/server/hadoop-3.4.0 /export/server/hadoop。
本地连接hadoop集群问题汇总
把伤痕当酒窝
09-26 1948
1.本地运行代码读取云主机hadoop数据超时 本地代码简版，其中hadoopcluster为集群的命名空间 val spark = SparkSession.builder() .appName("SparkStatFormatData") .master("*") .getOrCreate() val data = spark.sparkContex...
踩坑java.nio.channels.ClosedChannelException后台异常
热门推荐
山月风成的博客
04-20 10万+
踩坑java.nio.channels.ClosedChannelException后台异常
Hadoop3.2.1 【 HDFS 】源码分析 : LeaseManager解析
张伯毅的专栏
11-01 6418
一.前言 租约是Namenode给予租约持有者（LeaseHolder， 一般是客户端） 在规定时间内拥有文件权限（写文件） 的合同。 HDFS文件是write-once-read-many， 并且不支持客户端的并行写操作。 HDFS提供了租约（Lease） 机制保证对HDFS文件的互斥操作来实现这个功能， 在HDFS中， 客户端写文件时需要先从租约管理器（LeaseManager） 申请一个租约，成功申请租约之后客户端就成为了租约持有者， 也就拥有了对该HDFS文件的独占权限，其他客户端在该租约有效时无法
【NIO】解读 java.nio.channels.Channel
暂七师师长常乃超
07-24 3032
目录 Part 1. Define Part 2.Implementation 1. Channel 2.FileChannel 3.ServerSocketChannel 4.SocketChannel 5. ServerSocket Part 3. Demo 1. FileChannel 2. ServerSocketChannel Part 1. Define Difference between NIO's Channel and Stream: 1 NIO ...
Hadoop完全分布式部署(超全)
qq_27960935的博客
10-21 3490
Hadoop完全分布式部署 1、配置vm共享文件夹 注意：主要是实现window与虚拟机之间的文件共享，如果用实体机的，就不需要这步 1.1 linux系统创建共享目录 mkdir -p /work/software/share 1.2 vm配置共享文件夹 2、配置vm网络 vm安装步骤看这 三台服务器ip为： hdp01 192.168.10.133 hdp02 192.168.10.134 hdp03 192.168.10.135 3、配置虚拟机 注意：以下内容三台服务器同样配置（以第一台服务
hadoop伪分布式部署
weixin_45052608的博客
02-05 602
hadoop hadoop官网：hadoop.apache.org apache官网都是：项目名称.apache.org 如：spark官网是spark.apache.org Hadoop2.x(CDH5.x)官网：http://archive.cloudera.com/cdh5/cdh/5/ hadoop部署 一、hadoop安装 1、创建用户 useradd byy su - byy ll 2、创建文件夹 mkdir app data software bin log sourcecode tmp ll
Hadoop的部署教程
Stevenson的博客
07-19 1119
Hadoop的部署教程 第一步创建hadoop用户 第二步系统更新 第三步安装SSHserver、配置SSH无密钥登录 第四步安装Java环境 第五步网络配置 第六步安装Hadoop 第七步配置集群分布式环境 第八步执行分布式实例 因为该教程是在三台远程虚拟机上搭建的，三台虚拟机的IP地址如下： 192.168.3.53 作为Mater 192.168.3.54 作为Slave1 192.
Linux部署Hadoop时命令Hadoop version错误
09-11
当在Linux系统上部署Hadoop并遇到命令`hadoop version`错误时，可能有以下几种情况导致这个问题： 1. 环境变量未正确设置：Hadoop的可执行文件没有被添加到系统的PATH环境变量中，导致无法在命令行中直接调用`...
RPC原理及RPC实例分析
weixin_33859844的博客
07-14 427
为什么80%的码农都做不了架构师？>>> ...
Hadoop 2.2.0安装配置
LeoDuo的专栏
05-18 694
Pre-installation 保证所有主机上已经安装JDK 1.6+和ssh。 添加主机名到/etc/hosts 修改/etc/hosts sudo vi /etc/hosts 添加 192.168.56.101 zhenlong-master 192.168.56.102 zhenlong-slave1 配置无密码的ssh连接 在所有主机上生成ssh的
通过Sahara部署Hadoop集群
Hcloud
12-11 5969
本文主要对如何在Sahara环境上部署Hadoop集群做一个总结，也把自己部署的时候填过的坑总结下，避免其他人在同一个坑掉下。
Prediction(2)R running through Spark/Hadoop Cluster
快马扬鞭须努力！
09-11 184
Prediction(2)R running through Spark/Hadoop Cluster 1. How we Load the Config in R install.packages("yaml", repos="http://cran.rstudio.com/") library("yaml") config = yaml.load_file("config.ya...
Sahara组件调查：环境搭建
IT新人
09-08 687
简介 2013年4月，OpenStack社区知名厂商Mirantis正式宣布了基于OpenStack的开源BDaaS（BigData-as-a-Service）项目——Sahara，旨在为用户提供简单部署hadoop集群的能力 Juno版中进入核心项目，Web UI集成进Dashboard 如果从事IT行业，大家应该对hadoop不陌生了，在互联网企业蓬勃发展的今天，谁掌握数据，谁就能赢
Hadoop RPC协议之　ProtobufRpcEngine
houzhizhen的专栏
12-04 7880
用ProtobufRpcEngine来实现一个简单的RPC协议 add_test.proto package rpcTest.protobuf; option java_package = "rpcTest.protobuf"; option java_outer_classname = "ClientProto"; message AddParameters { optional int
hadoop fs -put报错 Excluding datanode DatanodeInfoWithStorage
Joker__K的博客
10-11 6734
NFO hdfs.DFSClient: Exception in createBlockOutputStream java.io.IOException: Got error, status message , ack with firstBadLink as 192.168.1.142:50010         at org.apache.hadoop.hdfs.protocol.data
基于docker-compose的hive搭建
Qbit编程学习笔记
04-29 2350
docker-compose.yml 在hadoop配置文件的基础上增加几个服务,另外把配置文件名字都改成env.env hive-server: image: bde2020/hive:2.3.2-postgresql-metastore env_file: - ./env.env environment: HIVE_CORE_CONF_jav...
Openstack & Hadoop结合项目Sahara
峰云四起
04-18 4200
Openstack 项目Sahara,主要是用来搭建Hadoop集群，利用虚拟出来的计算资源，快速搭建Hadoop集群。 Sahara项目与OPenstack其他项目的关系： 图片转自：http://docs.openstack.org/developer/sahara/overview.html Sahara有两种基本使用流程： 1、快速布署，用户可以增加减少Hadoop节点
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值