java fs.default.name_HDFS API文件上传，fs.default.name配置的关键性

Exception in thread "main" java.lang.IllegalArgumentException: Wrong FS: hdfs://master:9000/index.html, expected:

file:///

at org.apache.hadoop.fs.FileSystem.checkPath(FileSystem.java:390)

at org.apache.hadoop.fs.RawLocalFileSystem.pathToFile(RawLocalFileSystem.java:55)

at org.apache.hadoop.fs.LocalFileSystem.pathToFile(LocalFileSystem.java:61)

at org.apache.hadoop.fs.LocalFileSystem.exists(LocalFileSystem.java:51)

at org.apache.hadoop.fs.FileUtil.checkDest(FileUtil.java:355)

at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:211)

at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:163)

at org.apache.hadoop.fs.LocalFileSystem.copyFromLocalFile(LocalFileSystem.java:67)

at org.apache.hadoop.fs.FileSystem.copyFromLocalFile(FileSystem.java:1178)

at com.lango.mapreduce.example.chainmapper.Test.fsCopy(Test.java:32)

at com.lango.mapreduce.example.chainmapper.Test.main(Test.java:25)

1、Wrong FS: hdfs://master:9000/index.html, expected:file:///

a、解决方案：复制core-site.xml和hdfs-site.xml到当前工程下

因为是访问远程的HDFS， 需要通过URＩ来获得FileSystem：

hadoop需要把集群上的core-site.xml和hdfs-site.xml放到当前工程下(eclipse工作目录的bin文件夹下面)

注意：

在我的Eclipse工作目录中没有找到bin文件夹。

网上资料说“生成的class文件在项目目录中的bin目录下”，具体说法见下段参考资料：

生成的class文件在你的项目目录中的bin目录下，进入你的项目目录，可以看到一个.classpath文件，其中源文件地址，class文件存放地址，以及环境变量都是在这里面配置的，当然你可以通过myeclipse的界面配置，不过配置完成后都是修改的这个文件，这个就是配置源文件存放地址，这些是将哪个目录的那个jar包导入到path中这个是生成的class文件存放到哪，其中目录可以为绝对目录，相对目录是相对当前目录来说的，也就是项目目录本身

所以，我觉得bin目录就是我目录结构中的build/classes文件。因此，拷贝core-site.xml和hdfs-site.xml到build/classes目录中。

再次运行之前的代码：

package com.lango.mapreduce.example.chainmapper;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.FileSystem;

import org.apache.hadoop.fs.Path;

public class FsTest {

public static void main(String[] args) throws IOException {

Configuration conf = new Configuration();

FileSystem fs = FileSystem.get(conf);

Path src = new Path("C:/Users/lango/Desktop/core-site.xml");

Path dst = new Path("hdfs://master:9000/qj");

fs.copyFromLocalFile(src, dst);

}

}

运行通过。文件成功上传，问题解决。

2、问题引申：通过几种对文件操作方式的比较，来总结对于把文件上传到远程客户端什么是最关键的因素。

b、拷贝core-site.xml和hdfs-site.xml到当前工程下，修改目标路径形式为如下形式：

//注意和“Path dst = new Path("hdfs://master:9000/qj");”形式区分

Path dst = new Path("/qj");

整体代码如下：

package com.lango.mapreduce.example.chainmapper;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.FileSystem;

import org.apache.hadoop.fs.Path;

public class CopyToHDFS {

public static void main(String[] args) throws IOException {

Configuration conf = new Configuration();

FileSystem fs = FileSystem.get(conf);

fs.copyFromLocalFile(new Path("/home/wqj/opt/140702152709log.txt"), new Path("/qj"));

}

}

程序运行正常，文件上传成功。

c、不拷贝core-site.xml和hdfs-site.xml到当前工程下。配置

conf.set("fs.default.name", "hdfs://master:9000");

直接使用FileSystem类实现上传，代码如下：

package com.lango.mapreduce.example.chainmapper;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.FileSystem;

import org.apache.hadoop.fs.Path;

public class CopyToHDFS {

public static void main(String[] args) throws IOException {

Configuration conf = new Configuration();

conf.set("fs.default.name", "hdfs://master:9000");

FileSystem fs = FileSystem.get(conf);

fs.copyFromLocalFile(new Path("/home/wqj/opt/140702152709log.txt"), new Path("/qj"));

}

}

运行通过，文件上传到远程HDFS上成功。

d、拷贝core-site.xml和hdfs-site.xml到当前工程下。直接使用FileSystem类实现上传，代码如下：

package com.lango.mapreduce.example.chainmapper;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.FileSystem;

import org.apache.hadoop.fs.Path;

import org.apache.hadoop.hdfs.DistributedFileSystem;

public class FsTest {

public static void main(String[] args) throws IOException {

Configuration conf = new Configuration();

FileSystem  fs = FileSystem.get(conf);

fs.copyFromLocalFile(new Path("C:/Users/lango/Desktop/core-site.xml"), new Path("/qj-dfs"));

}

}

运行通过，文件成功上传。

e、不拷贝core-site.xml和hdfs-site.xml到当前工程下。直接使用FileSystem类实现上传，代码和b完全相同。

和b做对比，有一个奇妙的现象。

我们上传的文件它并没有被上传到远程HDFS中，而是跑到本地Eclipse工作目录所在根目录E盘下了。并且可看见文件的存放形式：.qj.crc和qj。

Eclipse控制台输出日志信息如下：

八月 12, 2014 2:47:41 下午 org.apache.hadoop.util.NativeCodeLoader 

WARNING: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

运行通过，文件未成功上传到远程HDFS中，而是被上传到Eclipse工作目录所在根目录下了。

f、不拷贝core-site.xml和hdfs-site.xml到当前工程下。直接使用DistributedFileSystem类实现上传，代码如下：

package com.lango.mapreduce.example.chainmapper;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.FileSystem;

import org.apache.hadoop.fs.Path;

import org.apache.hadoop.hdfs.DistributedFileSystem;

public class FsTest {

public static void main(String[] args) throws IOException {

Configuration conf = new Configuration();

conf.set("fs.default.name", "hdfs://master:9000");

DistributedFileSystem fs = (DistributedFileSystem) FileSystem.get(conf);

Path src = new Path("C:/Users/lango/Desktop/core-site.xml");

Path dst = new Path("/qj-dfs");

fs.copyFromLocalFile(src, dst);

}

}

运行通过，文件成功上传。

注意：在d中，若省略“

conf.set("fs.default.name", "hdfs://master:9000");

”则程序报错。报错信息

Exception in thread "main" java.lang.ClassCastException: org.apache.hadoop.fs.LocalFileSystem cannot be cast to org.apache.hadoop.hdfs.DistributedFileSystem

at com.lango.mapreduce.example.chainmapper.FsTest.main(FsTest.java:16)

解决方案：拷贝core-site.xml和hdfs-site.xml到当前工程下。整体代码不改变，代码如下：

package com.lango.mapreduce.example.chainmapper;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.FileSystem;

import org.apache.hadoop.fs.Path;

import org.apache.hadoop.hdfs.DistributedFileSystem;

public class FsTest {

public static void main(String[] args) throws IOException {

Configuration conf = new Configuration();

//        省略fs.default.name配置

//        conf.set("fs.default.name", "hdfs://master:9000");

DistributedFileSystem fs = (DistributedFileSystem) FileSystem.get(conf);

Path src = new Path("C:/Users/lango/Desktop/core-site.xml");

Path dst = new Path("/qj-dfs");

fs.copyFromLocalFile(src, dst);

}

}

运行通过，文件上传成功。

通过上面一系列自己都觉得很晕的比较之后，感觉，无论怎么变，它们之间的最大区别就在于

fs.default.name属性的配置

conf.set("fs.default.name", "hdfs://master:9000");

综上所述：

无论我们是在代码中对"fs.default.name"进行配置，还是直接拷贝core-site.xml和hdfs-site.xml到当前工程下，最终我们的目的都是要实现对fs.default.name的配置。

只有对fs.default.name成功配置后，我们才能成功上传文件到远程客户端。