hadoop开发环境搭建时出现的一些问题

hadoop开发环境搭建时出现的一些问题

 

 

 

 

一、向eclipse添加hadoop插件时，将插件拷贝到plugs文件夹下却不起作用。

 

 

解决方法：

尝试将hadoop插件拷贝到dropins文件夹下，是否能解决问题。

 

 

 

 

二、在启动Hadoop时，出现Hadoop-daemon.sh权限不足的问题。

 

 

原因：

进入其所指的hadoop-1.0.1目录下,使用命令：ll -d hadoop-1.0.1

 

发现这个文件的用户为root用户下的为只读（这大部分是由于之前用root用户进入过Hadoop，导致root用户将其改为默认的root权

限。)

解决方法：

使用命令：chown  hewei:hewei  hadoop-1.0.1 (其中用户名视自己情况而定)将权限改为用户可读写权限。

 

 

 

 

三、ubuntu每次重启都会格式化/tmp中的信息，而namenode的格式化信息是存在/tmp下，所以每次启

 

动都要重新格式化。

 

 

解决方法：

mkdir  /home/hewei/Hadoop/hadoop-1.0.1/tmp　(我的用户是hewei)

在conf/core-site.xml增加

<property>

　　 　<name>hadoop.tmp.dir</name>

　 　　<value>/home/hewei/Hadoop/hadoop-1.0.1/tmp</value>

　 　　<description>Abase for other temporary directories</description>

</property>

 

修改完成后，格式化：./hadoop  namenode  -format

重启，不需要格式化。

 

 

 

四、启动hadoop时，出现错误：JAVA_HOME  is not set.

 

 

1.检查本地/etc/profile中的JAVA_HOME是否配置正确;

 

 

2.检查hadoop配置文件hadoop-env.sh文件中的JAVA_HOME是否配置正确;

 

 

3.检查hadoop配置文件hadoop-env.sh中   export      JAVA_HOME=“”前的“#”有没有去掉。

 

 

 

五、启动hadoop后，上传/创建文件时出现错误：Namenode is in safe mode.

 

原因：

 

此时namenode在安全模式下。

 

什么是安全模式：

 

在分布式文件系统启动的时候，开始的时候会有安全模式，当分布式文件系统处于安全模式的情况下，文件系统中的内容不允许修

改也不允许删除，直到安全模式结束。安全模式主要是为了系统启动的时候检查各个DataNode上数据块的有效性，同时根据策略必

要的复制或者删除部分数据块。运行期通过命令也可以进入安全模式。在实践过程中，系统启动的时候去修改和删除文件也会有安

全模式不允许修改的出错提示，只需要等待一会儿即可。

 

解决方法：

使用命令：./hadoop dfsadmin -safemode leave 离开安全模式。

 

安全模式的一些操作：

./hadoop dfsadmin -safemode enter -进入安全模式

 

./hadoop dfsadmin -safemode leave -强制NameNode离开安全模式

./hadoop dfsadmin -safemode get -返回安全模式是否开启的信息

 

./hadoop dfsadmin -safemode wait -等待，一直到安全模式结束。