使用hadoop运行自己写的java类报错:
01 | /home/hadoop/bin/hadoop MaxTemperature /home/hadoop/input/sample.txt output |
02 | Exception in thread "main" java.lang.NoClassDefFoundError: MaxTemperature |
03 | Caused by: java.lang.ClassNotFoundException: MaxTemperature |
04 | at java.net.URLClassLoader$ 1 .run(URLClassLoader.java: 202 ) |
05 | at java.security.AccessController.doPrivileged(Native Method) |
06 | at java.net.URLClassLoader.findClass(URLClassLoader.java: 190 ) |
07 | at java.lang.ClassLoader.loadClass(ClassLoader.java: 306 ) |
08 | at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java: 301 ) |
09 | at java.lang.ClassLoader.loadClass(ClassLoader.java: 247 ) |
10 | Could not find the main class : MaxTemperature. Program will exit. |
查了很多资料,总结运行java类的步骤。
步骤1:设置java环境变量,编辑 conf/hadoop-env.sh文件,至少需要将JAVA_HOME设置为Java安装根路径。
步骤2:行java程序时要先编译成class文件,才能用hadoop命令,但是编译的时候会有如下错误:
01 | axTemperature.java: 5 : 软件包 org.apache.hadoop.fs 不存在 |
02 | import org.apache.hadoop.fs.Path; |
04 | MaxTemperature.java: 6 : 软件包 org.apache.hadoop.io 不存在 |
05 | import org.apache.hadoop.io.IntWritable; |
07 | MaxTemperature.java: 7 : 软件包 org.apache.hadoop.io 不存在 |
08 | import org.apache.hadoop.io.Text; |
10 | MaxTemperature.java: 8 : 软件包 org.apache.hadoop.mapred 不存在 |
11 | import org.apache.hadoop.mapred.FileInputFormat; |
13 | MaxTemperature.java: 9 : 软件包 org.apache.hadoop.mapred 不存在 |
14 | import org.apache.hadoop.mapred.FileOutputFormat; |
上面的信息很明确,找不到hadoop相关的java类,请在CLASSPATH设置一下
1 | export CLASSPATH=.:/home/hadoop/hadoop- 0.20 . 2 -core.jar:$CLASSPATH |
步骤3:运行自己写的java类。
有的时候报错:
01 | root @tianbaoxing -virtual-machine:/home/hadoop/java# /home/hadoop/bin/hadoop MaxTemperature /home/hadoop/input/sample.txt output |
02 | Exception in thread "main" java.lang.NoClassDefFoundError: MaxTemperature |
03 | Caused by: java.lang.ClassNotFoundException: MaxTemperature |
04 | at java.net.URLClassLoader$ 1 .run(URLClassLoader.java: 202 ) |
05 | at java.security.AccessController.doPrivileged(Native Method) |
06 | at java.net.URLClassLoader.findClass(URLClassLoader.java: 190 ) |
07 | at java.lang.ClassLoader.loadClass(ClassLoader.java: 306 ) |
08 | at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java: 301 ) |
09 | at java.lang.ClassLoader.loadClass(ClassLoader.java: 247 ) |
10 | Could not find the main class : MaxTemperature. Program will exit. |
上面的信息报错找不到运行的类,
是因为没有设置classpath,在hadoop环境下怎么设置classpath呢?
1 | export HADOOP_CLASSPATH=/home/hadoop/java |
我把要运行的java类全部放在了/home/hadoop/java 这个文件夹下面了。
这上面是从其他人哪里转载,我自己试验了一下总结如下:
步骤1:设置java环境变量,编辑 conf/hadoop-env.sh文件,至少需要将JAVA_HOME设置为Java安装根路径。
步骤2:行java程序时要先编译成class文件,才能用hadoop命令,但是编译的时候会有如下错误:上面的信息很明确,找不到hadoop相关的java类,请在CLASSPATH设置一下
1 | export CLASSPATH=.:/home/hadoop/hadoop- 0.20 . 2 -core.jar:$CLASSPATH |
步骤3:在hadoop的环境中设置
export HADOOP_CLASSPATH=/home/hadoop/java |
在hadoop的文件夹中建立java文件夹后步行,名字不能使用,然后使用javaClass,同时我使用的是hadoop集群中的一个服务器所以执行命令如下:
bin/hadoop URLCat hdfs://master:9000/user/hadoop/readme.txt
执行上面的命令,运行成功了。注意hdfs://master:9000/user/hadoop/readme.txt是hdfs中的路径,默认是不一样的。