hdfs 小文件服务器,java api连接HDFS文件服务器

问题： 在使用java程序连接hdfs时，将程序部署在linux下，linux系统中没有相应的环境变量和配置，导致无法正常连接到hdfs文件系统

解决方式：

将hdfs的配置文件放入java工程的resource中，

core-site.xml和hdfs-site.xml

通过读取resources中下的文件，可以直接将配置文件加载到主类中。

读取resources中的文件java代码：

InputStream filepath= Test.class.getClassLoader().getClass().getResourceAsStream("/hdfs-site.xml");

InputStream filepath1= Test.class.getClassLoader().getClass().getResourceAsStream("/core-site.xml");

注意，这里的参数一定要加"/",否则会报空指针异常，"/"相当于根目录下的文件，这是由于在编译了程序之后，会产生classes文件夹，resources下的文件就直接在classes的根目录下。

不具有适用性，而且不太方便，还有一种方式读取配置文件的方式

Test.class.getResource("/core-site.xml").getPath();

Test.class.getResource("/hdfs-site.xml").getPath();

通过这种方式在windows系统中运行是没有问题的，但是放到linux系统中，会报错，但是报错信息又很让人费解。

路径/hbase_Tool.jar!/core-site.xml FileNotFoundException

然后将设置加载到hdfs配置类中，代码如下：

Configuration HDFS_CONF = new Configuration();

HDFS_CONF.addResource(filepath);

HDFS_CONF.addResource(filepath1);

HDFS_CONF.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem");

通过这种方式就可以通过配置文件连接到hdfs文件系统中。