window下java客户端实现Linux下HDFS文件的上传与下载

最新推荐文章于 2023-06-15 09:50:42 发布

众里寻她千百回

最新推荐文章于 2023-06-15 09:50:42 发布

阅读量1k

点赞数 3

分类专栏： HDFS 文章标签： hadoop window平台java客户端

本文链接：https://blog.csdn.net/JeremyIverson/article/details/90323442

版权

HDFS 专栏收录该内容

3 篇文章 0 订阅

订阅专栏

1、下载并解压hadoop window平台的包下载地址

2、配置window下的hadoop的环境变量

新建系统环境变量HADOOP_HOME 值为 hadoop window平台包的解压路径
将变量 ;%HADOOP_HOME%\bin; 加入系统path变量中

3、新建java工程手动导入hadoop先关jar包

将hadoop包/share/hadoop路径的包作为作为user library导入工程具体做法如下
- 项目右击->Build Path -> Configure Build Path…
- 选择Libraries -> add Libraries -> user Library -> Next
- 选择User Libraries -> new 然后输入jar包的名称，点击OK
- 点击新建的Libraries -> add External JARS
- 导入\share\hadoop\commonhadoop-common包以及该路径下lib文件内的包，导入\share\hadoop\hdfs\hadoop-hdfs包以及该路径下lib文件内的jar包
- 点击OK -> finish ->OK即可

4、开发java客户端

import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.Before;
import org.junit.Test;
//代码如下
public class HdfsClientDemo {

	FileSystem fs = null ;
	@Before
	public void init() throws IOException, Exception, Exception{
		Configuration conf  = new Configuration();
		conf.set("fs.defaultFS", "hdfs://hadoop01:9000");
		//拿到一个文件系统操作的客户端实例对象，此处如果不传用户，上传下载时会报permission denied
		//此时需要在run configuration -> arguments -> vm arguments  设置 -DHADOOP_USER_NAME为Linux的hdfs用户
      //fs = FileSystem.get(conf);
		//可以直接传入URI和用户
		fs = FileSystem.get(new URI("hdfs://hadoop01:9000"),conf,"hadoop");
	}
	@Test
	public void testUpload() throws Exception{
		fs.copyFromLocalFile(new Path("D:/access.log"), new Path("/access.txt"));
		fs.close();
	}
	@Test
	public void testDownLoad() throws Exception, Exception{
		fs.copyToLocalFile(false,new Path("/access.log.copy"), new Path("d:/"),true);
		fs.close();
	}
}