HDFS的java客户端api基本使用

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class HdfsClientDemo {
	public static void main(String[] args) throws Exception {
		
		Configuration conf = new Configuration();
		conf.set("dfs.client.use.datanode.hostname","true");
		//指定本客户端上传文件到hdfs时需要保存的副本数为“2
		conf.set("dfs.replication", "2");
		//指定客户端上传的分块文件大小为64m
		conf.set("dfs.blocksize", "64m");
		//构造一个访问指定hdfs系统的客户端对象 
		FileSystem fs = FileSystem.get(new URI("hdfs://t124:9000/"), conf, "root");
		
		//上传一个hdfs文件,选择路劲和目标路劲
		fs.copyFromLocalFile(new Path("D:/woaini.txt"), new Path("/user/had/aaa/"));
		fs.close();
	}
}

在这里会遇到很多坑，简单说一下自己遇到的两个
首先保证9000端口的正常运行和hdfs配置文件的正确

还有一个在上传的时候遇到创建的文件权限问题

先看看权限

解决办法 hadoop fs -chmod user

修改文件的权限就可以了

二、在hdfs中下载文件（在window开发环境中做一些准备工作）
1、在window的环境变量中配置HADOOP_HOME
2. 在bin目录中添加文件
3.

	 */
	@Test
	public void testGet() throws IllegalArgumentException, IOException{
		
		fs.copyToLocalFile(new Path("/user/had/aaa/f.txt"), new Path("f:/"));
		fs.close();