CDH 镜像地址 apach官方镜像地址 按需选择下载安装
最近由于项目需要开始接触hadoop,在配置伪分布式启动后,jps查询进程发现少了namenode,而DataNode却存在。
配置内容及流程如下:
Configuration
Use the following:
0:安装jdk并配置hadoop-env.sh的JAVA_HOME
必须在hadoop-env.sh文件中设置Java的绝对路径
1: etc/hadoop/core-site.xml:
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://alex-prod-01.com:9000</value>
</property>
#hadoop存放临时文件
<property>
<name>hadoop.tmp.dir</name>
<value>/alex/data/bigdata/hadoop/hadoop-2.6.0-cdh5.9.3/tmp</value>
</property>
</configuration>
2:etc/hadoop/hdfs-site.xml:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions.enabled</name>
<value>false</value>
</property>
</configuration>
bin/hadoop namenode -format
sbin/hadoop-daemon.sh start namenode
sbin/hadoop-daemon.sh start datanode
#查看namenode datanode 启动日志
/alex/data/bigdata/hadoop/hadoop-2.6.0-cdh5.9.3/logs
ps: alex-prod-01.com
/etc/hosts 127.0.0.1 alex-prod-01.com
1:参考文章:https://www.cnblogs.com/lishpei/p/6136043.html
2:https://blog.csdn.net/shizhixin/article/details/50469566
3:https://www.cnblogs.com/zlslch/p/6604189.html
首先google了一下,网上看了几个方法没有解决。
干脆看启动日志,我们从启动脚本打印的日志可知启动NameNode的日志是放在hadoop下的logs目录下,进入这个目录可发现有一个hadoop-namenode.log(名字貌似根据用户名而定:格式如×××namenode×××.log),打开这个日志文件发现有这么一段:
netstat -ntlp 查看端口不是占用问题;是有序漏掉了流程的0步;del tmp文件夹;重新启动;效果如下
ps: 切记安装流程3中hdfs-default.xml配置权限问题的说明路径: url;否则root用户不能启动问题,默认true权限;根据自己需要修改