学习Hadoop所遇到的问题集

1.搭建伪分布式出现的问题，Namenode或者datanode无法启动

core-site.xml  配置如下

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
<property>  
        <name>fs.default.name</name>  
        <value>hdfs://192.168.1.109:9000</value>  
    </property> 
<property>  
        <name>hadoop.tmp.dir</name>  
        <value>/home/administrator/hadooptmp</value>  
    </property> 
</configuration>

hdfs-site.xml  配置如下:

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>

<property>  
        <name>dfs.replication</name>  
        <value>1</value>  
    </property>  
<property>  
        <name>dfs.name.dir</name>  
        <value>/home/administrator/dfs/name</value>  
    </property> 
<property>  
        <name>dfs.data.dir</name>  
        <value>/home/administrator/dfs/data</value>  
    </property> 
</configuration>

map-red.xml 配置如下：

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
<property>  
        <name>mapred.job.tracker</name>  
        <value>192.168.1.109:9001</value>  
    </property>  
</configuration>

解决方法:    不要自己建文件夹dfs/name-data     格式化时hadoop会自动建立的   这样就不出错了

2.rmr: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot delete /user/administrator/in. Name node is in safe mode.

删除文件出错：请执行如下退出安全模式

administrator@ubuntu:~/Hadoop/hadoop-1.2.1/bin$ ./hadoop dfsadmin -safemode leave

3.org.apache.hadoop.security.AccessControlException: Permission denied: user=

这个错误，通常是权限错误。。

我用的hadoop1.2.1版本的   在ubuntu上搭建的伪分布式环境

然后 在window7上进行操作，代码如下

package hdfs;

import java.net.URI;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class App1 {
	public static final String HDFS_PATH="hdfs://192.168.1.109:9000/";
	/**
	 * @param args
	 * @throws Exception 
	 */
	public static void main(String[] args) throws Exception {
		// TODO Auto-generated method stub
		FileSystem fs=FileSystem.get(new URI(HDFS_PATH),new Configuration());
		fs.mkdirs(new Path("/AppHello"));
	}
	
}

解决方法：上ubuntu上修改 hdfs-core.xml

加上这么一段

<property>
<name>dfs.permissions</name>
<value>false</value>
</property>