hadoop:start-all.sh 启动时出错

最新推荐文章于 2023-11-28 23:28:07 发布
最新推荐文章于 2023-11-28 23:28:07 发布
阅读量1w 收藏 1
点赞数 1
分类专栏： hadoop 文章标签： hadoop启动时出错
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/arlanhon/article/details/18927643
版权

测试版本：hadoop0.20.2

[hadoop@Master ~]$ start-all.sh

starting namenode, logging to /usr/hadoop/bin/../logs/hadoop-hadoop-namenode-Master.Hadoop.out
/usr/hadoop/bin/hadoop-daemon.sh: line 117: /usr/hadoop/bin/../logs/hadoop-hadoop-namenode-Master.Hadoop.out: Permission denied
head: cannot open ‘/usr/hadoop/bin/../logs/hadoop-hadoop-namenode-Master.Hadoop.out’ for reading: No such file or directory
192.168.1.3: starting datanode, logging to /usr/hadoop/bin/../logs/hadoop-hadoop-datanode-Slave1.Hadoop.out
192.168.1.4: starting datanode, logging to /usr/hadoop/bin/../logs/hadoop-hadoop-datanode-Slave2.Hadoop.out
192.168.1.5: starting datanode, logging to /usr/hadoop/bin/../logs/hadoop-hadoop-datanode-Slave3.Hadoop.out
192.168.1.105: starting secondarynamenode, logging to /usr/hadoop/bin/../logs/hadoop-hadoop-secondarynamenode-Master.Hadoop.out
192.168.1.105: /usr/hadoop/bin/hadoop-daemon.sh: line 117: /usr/hadoop/bin/../logs/hadoop-hadoop-secondarynamenode-Master.Hadoop.out: Permission denied
192.168.1.105: head: cannot open ‘/usr/hadoop/bin/../logs/hadoop-hadoop-secondarynamenode-Master.Hadoop.out’ for reading: No such file or directory
starting jobtracker, logging to /usr/hadoop/bin/../logs/hadoop-hadoop-jobtracker-Master.Hadoop.out
/usr/hadoop/bin/hadoop-daemon.sh: line 117: /usr/hadoop/bin/../logs/hadoop-hadoop-jobtracker-Master.Hadoop.out: Permission denied
head: cannot open ‘/usr/hadoop/bin/../logs/hadoop-hadoop-jobtracker-Master.Hadoop.out’ for reading: No such file or directory
192.168.1.3: starting tasktracker, logging to /usr/hadoop/bin/../logs/hadoop-hadoop-tasktracker-Slave1.Hadoop.out
192.168.1.4: starting tasktracker, logging to /usr/hadoop/bin/../logs/hadoop-hadoop-tasktracker-Slave2.Hadoop.out
192.168.1.5: starting tasktracker, logging to /usr/hadoop/bin/../logs/hadoop-hadoop-tasktracker-Slave3.Hadoop.out
[hadoop@Master ~]$ hadoop dfsadmin -report
14/02/05 00:12:56 INFO ipc.Client: Retrying connect to server: /192.168.1.105:9000. Already tried 0 time(s).
14/02/05 00:12:57 INFO ipc.Client: Retrying connect to server: /192.168.1.105:9000. Already tried 1 time(s).
14/02/05 00:12:58 INFO ipc.Client: Retrying connect to server: /192.168.1.105:9000. Already tried 2 time(s).
14/02/05 00:12:59 INFO ipc.Client: Retrying connect to server: /192.168.1.105:9000. Already tried 3 time(s).
14/02/05 00:13:00 INFO ipc.Client: Retrying connect to server: /192.168.1.105:9000. Already tried 4 time(s).


[root@Master usr]# ll
total 43748
dr-xr-xr-x.   2 root   root      53248 Feb  4 15:22 bin
drwxr-xr-x.   2 root   root       4096 Aug  7 17:10 games
drwxr-xr-x.  14 hadoop hadoop     4096 Feb  5 00:30 hadoop
-rw-r--r--.   1 root   root   44575568 Feb  4 13:47 hadoop-0.20.2.tar.gz
drwxr-xr-x.  35 root   root       4096 Feb  4 14:01 include
drwxr-xr-x.   3 root   root       4096 Feb  4 13:29 java
dr-xr-xr-x.  44 root   root       4096 Feb  4 14:10 lib
dr-xr-xr-x. 157 root   root      86016 Feb  4 15:22 lib64
drwxr-xr-x.  36 root   root      12288 Feb  4 15:22 libexec
drwxr-xr-x.  12 root   root       4096 Feb  4 12:49 local
dr-xr-xr-x.   2 root   root      20480 Feb  4 15:22 sbin
drwxr-xr-x. 244 root   root      12288 Feb  4 14:10 share
drwxr-xr-x.   4 root   root       4096 Feb  4 14:10 src
lrwxrwxrwx.   1 root   root         10 Feb  4 12:49 tmp -> ../var/tmp

[hadoop@Master hadoop]$ ll
total 4880
drwxr-xr-x.  2 root   root      4096 Feb  4 13:48 bin
-rw-rw-r--.  1 root   root     74035 Feb 19  2010 build.xml
drwxr-xr-x.  4 root   root      4096 Feb 19  2010 c++
-rw-rw-r--.  1 root   root    348624 Feb 19  2010 CHANGES.txt
drwxr-xr-x.  2 root   root      4096 Feb  4 21:08 conf
drwxr-xr-x. 13 root   root      4096 Feb 19  2010 contrib
drwxr-xr-x.  7 root   root      4096 Feb  4 13:47 docs
-rw-rw-r--.  1 root   root      6839 Feb 19  2010 hadoop-0.20.2-ant.jar
-rw-rw-r--.  1 root   root   2689741 Feb 19  2010 hadoop-0.20.2-core.jar
-rw-rw-r--.  1 root   root    142466 Feb 19  2010 hadoop-0.20.2-examples.jar
-rw-rw-r--.  1 root   root   1563859 Feb 19  2010 hadoop-0.20.2-test.jar
-rw-rw-r--.  1 root   root     69940 Feb 19  2010 hadoop-0.20.2-tools.jar
drwxr-xr-x.  2 root   root      4096 Feb  4 13:47 ivy
-rw-rw-r--.  1 root   root      8852 Feb 19  2010 ivy.xml
drwxr-xr-x.  5 root   root      4096 Feb  4 13:47 lib
drwxr-xr-x.  2 root   root      4096 Feb  4 13:47 librecordio
-rw-rw-r--.  1 root   root     13366 Feb 19  2010 LICENSE.txt
drwxr-xr-x.  3 root   root      4096 Feb  5 00:27 logs
-rw-rw-r--.  1 root   root       101 Feb 19  2010 NOTICE.txt
-rw-rw-r--.  1 root   root      1366 Feb 19  2010 README.txt
drwxr-xr-x. 15 root   root      4096 Feb  4 13:48 src
drwxrwxr-x.  2 hadoop hadoop    4096 Feb  5 00:30 tmp
drwxr-xr-x.  8 root   root      4096 Feb 19  2010 webapps


上述才知道是权限不够：

溯源：

chown -R hadoop:hadoop hadoop/

最后没加"/"


正确结果：

drwxr-xr-x.  2 hadoop hadoop    4096 Feb  4 13:48 bin
-rw-rw-r--.  1 hadoop hadoop   74035 Feb 19  2010 build.xml
drwxr-xr-x.  4 hadoop hadoop    4096 Feb 19  2010 c++
-rw-rw-r--.  1 hadoop hadoop  348624 Feb 19  2010 CHANGES.txt
drwxr-xr-x.  2 hadoop hadoop    4096 Feb  4 21:08 conf
drwxr-xr-x. 13 hadoop hadoop    4096 Feb 19  2010 contrib
drwxr-xr-x.  7 hadoop hadoop    4096 Feb  4 13:47 docs
-rw-rw-r--.  1 hadoop hadoop    6839 Feb 19  2010 hadoop-0.20.2-ant.jar
-rw-rw-r--.  1 hadoop hadoop 2689741 Feb 19  2010 hadoop-0.20.2-core.jar
-rw-rw-r--.  1 hadoop hadoop  142466 Feb 19  2010 hadoop-0.20.2-examples.jar
-rw-rw-r--.  1 hadoop hadoop 1563859 Feb 19  2010 hadoop-0.20.2-test.jar
-rw-rw-r--.  1 hadoop hadoop   69940 Feb 19  2010 hadoop-0.20.2-tools.jar
drwxr-xr-x.  2 hadoop hadoop    4096 Feb  4 13:47 ivy
-rw-rw-r--.  1 hadoop hadoop    8852 Feb 19  2010 ivy.xml
drwxr-xr-x.  5 hadoop hadoop    4096 Feb  4 13:47 lib
drwxr-xr-x.  2 hadoop hadoop    4096 Feb  4 13:47 librecordio
-rw-rw-r--.  1 hadoop hadoop   13366 Feb 19  2010 LICENSE.txt
drwxr-xr-x.  3 hadoop hadoop    4096 Feb  5 00:27 logs
-rw-rw-r--.  1 hadoop hadoop     101 Feb 19  2010 NOTICE.txt
-rw-rw-r--.  1 hadoop hadoop    1366 Feb 19  2010 README.txt
drwxr-xr-x. 15 hadoop hadoop    4096 Feb  4 13:48 src
drwxrwxr-x.  3 hadoop hadoop    4096 Feb  5 00:31 tmp
drwxr-xr-x.  8 hadoop hadoop    4096 Feb 19  2010 webapps

注意：

Slave1/Slave2/Slave3，也就是Datanode一样要改。

最后：

[hadoop@Master usr]$ rm -rf /usr/hadoop/tmp
[hadoop@Master usr]$ mkdir /usr/hadoop/tmp
[hadoop@Master usr]$ rm -rf /tmp/hadoop*
[hadoop@Master usr]$ hadoop namenode -format
14/02/05 00:49:17 INFO namenode.NameNode: STARTUP_MSG:
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG:   host = Master.Hadoop/192.168.1.105
STARTUP_MSG:   args = [-format]
STARTUP_MSG:   version = 0.20.2
STARTUP_MSG:   build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-0.20 -r 911707; compiled by 'chrisdo' on Fri Feb 19 08:07:34 UTC 2010
************************************************************/
14/02/05 00:49:17 INFO namenode.FSNamesystem: fsOwner=hadoop,hadoop
14/02/05 00:49:17 INFO namenode.FSNamesystem: supergroup=supergroup
14/02/05 00:49:17 INFO namenode.FSNamesystem: isPermissionEnabled=true
14/02/05 00:49:17 INFO common.Storage: Image file of size 96 saved in 0 seconds.
14/02/05 00:49:18 INFO common.Storage: Storage directory /usr/hadoop/tmp/dfs/name has been successfully formatted.
14/02/05 00:49:18 INFO namenode.NameNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at Master.Hadoop/192.168.1.105
************************************************************/
[hadoop@Master usr]$ start-all.sh
starting namenode, logging to /usr/hadoop/bin/../logs/hadoop-hadoop-namenode-Master.Hadoop.out
192.168.1.3: starting datanode, logging to /usr/hadoop/bin/../logs/hadoop-hadoop-datanode-Slave1.Hadoop.out
192.168.1.4: starting datanode, logging to /usr/hadoop/bin/../logs/hadoop-hadoop-datanode-Slave2.Hadoop.out
192.168.1.5: starting datanode, logging to /usr/hadoop/bin/../logs/hadoop-hadoop-datanode-Slave3.Hadoop.out
192.168.1.105: starting secondarynamenode, logging to /usr/hadoop/bin/../logs/hadoop-hadoop-secondarynamenode-Master.Hadoop.out
starting jobtracker, logging to /usr/hadoop/bin/../logs/hadoop-hadoop-jobtracker-Master.Hadoop.out
192.168.1.4: starting tasktracker, logging to /usr/hadoop/bin/../logs/hadoop-hadoop-tasktracker-Slave2.Hadoop.out
192.168.1.3: starting tasktracker, logging to /usr/hadoop/bin/../logs/hadoop-hadoop-tasktracker-Slave1.Hadoop.out
192.168.1.5: starting tasktracker, logging to /usr/hadoop/bin/../logs/hadoop-hadoop-tasktracker-Slave3.Hadoop.out



汐朔
关注
专栏目录
Hadoop 2.2.0版本./start-all.sh错误解决
qq_17792819的专栏
07-30 2490
This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh Starting namenodes on [Java HotSpot(TM) 64-Bit Server VM warning: You have loaded library /home/hadoop/hadoop/lib/native/libhadoo
Hadoop在启动时的坑——start-all.sh报错
weixin_34417814的博客
08-13 3018
1、若你用的Linux系统是CentOS的话，这是一个坑： 　　它会提示你JAVA_HOME找不到，现在去修改文件: .修改hadoop配置文件，手动指定JAVA_HOME环境变量 [${hadoop_home}/etc/hadoop/hadoop-env.sh] ... export JAVA_HOME=/soft/jdk ... 　　这是C...
VMware启动Hadoop执行命令start-all.sh报错找不到该命令
最新发布
m0_67881620的博客
11-28 1001
cd /home/hadoop/hadoop-2.7.6/sbin (这要根据个人sbin目录所在位置进行切换，不清楚位置的可以执行命令locate sbin来查找)本人使用VMware启动Hadoop执行命令start-all.sh时报错找不到该命令，后面发现是没有切换到Hadoop下的目录sbin,导致找不到命令。
启动Hadoop时提示 start-all.sh：找不到命令 的解决方法
热门推荐
qq_45069279的博客
11-12 10万+
输入 start-all.sh 命令后，提示 “找不到命令” 这个问题的解决方法。
Hadoop问题：start-all.sh显示未找到命令
Keep Doing this的博客
10-13 4313
在sbin文件夹下是start-all.sh可以运行的，但是到了别的文件夹下就不行了，于是想到了是文件路径问题，因为hadoop环境是和java环境一起配置的导致sbin写成了bin。（补充）其实也有其他方法，就是在profile中设置环境变量，但一般不建议在这配置，因为在这个文件中配置是对所有用户起作用，(也可以指定用户，感兴趣的可以自己去了解一下)这里的/apps/hadoop是我的hadoop的默认安装路径，可根据自己的实际情况改写即可。同样的在空白位置添加上面的代码（环境配置），就不赘叙了。
hadoop启动命令 start-all.sh失效解决办法
dianzishijian的专栏
07-30 3万+
很多人在配置好了hadoop集群后，输入启动命令 start-all.sh 时，报错：This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh   如下： hadoop@master:~/hadoop-2.6.4$ start-all.sh This script is Deprecated. Inste
start-all.sh未找到命令
z278718149的专栏
03-25 1万+
然后输入 sh start-all.sh就可以了http://zhidao.baidu.com/link?url=8wBXJcFkDHqT4hFTKbAYrfxasrdWGr7aq5ld2lVFJl5C3mtUefqeChU-7N989HCCl0nWsUAtTFaoXwQtQfoLXIHIyydW1zwggd3WrRtG9Ly
【Bug记录】hadoop启动失败：hadoop-config.sh: Syntax error: word unexpected (expecting ")")
12-26 5583
Bug背景未修改任何配置的情况下，重启hadoopbiglucky@localhost>sh start-all.sh This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh start-all.sh: 112: /opt/hadoop-2.7.1/sbin/../libexec/hadoop-config.sh:
Hadoop 3.x 入门 - 记录躺过的坑
r_aider的博客
04-23 1万+
一、 伪分布式节点启动报错 ./start-dfs.sh Starting namenodes on [10.1.4.57] ERROR: Attempting to operate on hdfs namenode as root ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting operation. Starting...
Spark的安装部署
leanaoo的博客
12-13 426
准备 CentOS7 scala-2.10.5 spark-2.1.1-bin-hadoop2.7 hadoop高可用集群(或普通集群) 工具:VMware12 Xshell5 Xftp5 1.安装scala 启动虚拟机,利用Xshell连接,使操作更加方便,然后使用Xftp连接以便上传文件 首先在/usr路径下创建一个scala文件夹当作安装目录以及安装包的上传路径 [root@master ~...
hadoop上传文件时WARN hdfs.DFSClient: DataStreamorg.apache.hadoop.ipc.RemoteException(java.io.IOException)
IT_NEU_Lee的博客
09-15 3464
安装好Hadoop后一直没有用  今天往hdfs上传文件的时候突然出现如下bug,翻看别人的博客和相关查找后  发现是自己当时可能使用了两次hadoop namenode -format 命令   hadoop dfs -put ~/words.txt  /test DEPRECATED: Use of this script to execute hdfs command is depreca...
start-all.sh显示未找到命令？
weixin_67584602的博客
06-16 3731
1.进入hadoop目录下（cd /opt/module/hadoop），输入sbin/start-all.sh来开启服务。1、修改profile文件： vi /etc/profile。2、使文件生效：source /etc/profile。注：opt/module是hadoop安装路径。注：opt/module是hadoop安装路径。3、再次执行start-all.sh。
Hadoop伪分布式安装后输入命令start-all.sh提示bash：Command not found
大美妞的博客
11-06 1万+
hadoop伪分布式安装完成后，重启机器输入命令start-all.sh提示bash：Command not found 在配置hadoop时需要进到/etc/profile中修改hadoop路径 例如： #配置Hadoop和Java环境 export JAVA_HOME=/JDK-1.8 #你自己Java的安装路径 export HADOOP_HOME=/hadoop-3.1 #自己安装的Ha...
Hadoop脚本启动之Start-all.sh脚本流程解析
KLordy的博客
11-05 1万+
自己的虚拟机环境中部署了一套自己测试用的hadoop环境，平时为了方便启动都是直接调用start-all.sh脚本直接启动，那么这个脚本中的执行流程是如何的，脚本是如何配置参数然后启动集群中各个服务进程的呢？之前只是知道用start-all.sh偷懒，有时间刚好看了一遍这个脚本的整体流程，以start-all.sh作为出发，了解整个脚本启动的流程对于理解集群配置还是有一定帮助的，起码可以了解bin...
hadoop中的start-all.sh小看
shuhuai007的专栏
09-05 1158
最近刚刚在看shell编程，正好拿hadoop的几个命令练练手： 先来看start-all.sh这个最简单的shell： bin=`dirname "$0"`------------$0是指第0个参数，在这里指start-all.sh本身,这里是相对路径，这条命令是获取$0所
hadoop start-all用途
枝寒不栖
05-03 1805
当搭建好了hadoop环境，我们迫不及待的就开始执行start-all.sh脚本，那么这个脚本具体做什么呢 [html] view plain copy 1：hadoop-config.sh  //想使用自己的配置的，需要在这里设置了  2：start-dfs.sh           //start dfs daemons  3：start-mapred.sh   
Hadoop启动报错 master: Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password).
m0_69097184的博客
10-18 3735
Starting namenodes on [master] master: Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password). Starting datanodes Starting secondary namenodes [master] master: Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password).
启动Hadoop集群遇到Permission denied (publickey,password)问题的解决方法
BrightMoons的博客
11-23 7876
百度上搜到的答案同质化比较严重（基本是sshkey），谷歌上搜到的答案存在越扯越远脱离原问题的不足，也可能是因为大佬不屑于用简单的方法解决问题。解决方法网上一搜一大把，基本是有两种方法，第一种只会影响到本用户所处的环境，第二种会影响到整个根目录（因为要修改。启动集群测试，如果还遇到问题，一般是别的地方有bug，检查一下hadoop那些配置文件写得对不对，第二次是自定义一个密码，该密码用在哪里本例不需要，所以直接回车，默认无密码就行。启动集群时需要与多台slave主机通信，但没有实现ssh免密，所以报错。
hadoop脚本start-all.sh启动后有哪些进程
07-11
hadoop脚本start-all.sh启动后会启动以下进程： 1. NameNode：Hadoop分布式文件系统的主节点，负责管理文件系统的命名空间和访问控制。 2. DataNode：Hadoop分布式文件系统的数据节点，存储和管理实际的数据块。 3....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值