使用Hadoop API操作HDFS文件时遇到的问题及解决总结

1、报错信息“提示找不到或无法加载主类”

       解决步骤： （1）检查函数中有无main方法；

    （2）检查用java 命令 时输入的类名是否正确；

    （3）检查classpath设置是否正确；

    （4） 类是否是在某一个包下面（即类文件中有package person；类似的内容）；如果有得话，千万不要在命令行窗口中进到person这个包的目录下，去编译运行     java类， 而要到 包所在的目录中去编译运行，即在person所在的包，而不是person包里面，去编译运行。

         像这样的问题，一般都是包得问题引起的，源文件中不要使用package语句，如果使用了，编译时，则要用“javac -d . 类名.java”，然后使用"java 包名.类名"。

2、hadoop中用create（）API在HDFS中创建目录没报错，但是却没看到创建的目录

      解决步骤：（1）检查conf文件是否正确，是否设置fs.default.name；如

  core-site.xml文件中配置是:

<property>

       <name>fs.default.name</name>

      <value>hdfs://localhost:9000</value>

      </property>

还有hdfs-site.xml、mapred-site.xml，自行设置好。

   （2）检查这些配置文件是否在classpath下，如果不在，添加进去即拷贝到存放类文件的目录；

   （3）或者在new Configuration()之后，调用set("fs.default.name","hdfs://localhost:9000")（根据情况设置）等。

3、报错信息“Unable to load native-hadoop library for your platform”

解决步骤：（1）检查Hadoop本地库的实际路径，一般是$HADOOP_HOME/lib/native/Linux-amd64-64/

    （2）在启动JVM时，在java命令中添加java.library.path属性即可，如下：
-Djava.library.path=$HADOOP_HOME/lib/native/Linux-amd64-64/

   （3）或者使用LD_LIBRARY_PATH系统变量也能解决此问题，如下：
export LD_LIBRARY_PATH=$HADOOP_HOME/lib/native/Linux-amd64-64/