hadoot配置环境变量win_大数据教程（6.6）windows10上开发与搭建hadoop系统&使用JavaAPI操作HDFS文件系统...

上一篇文章博主为大家讲述了hadoop的命令行操作，以及第一个mapreduce程序的运行案例。本篇将博主将继续解释在windows10系统上搭建hadoop以及使用JavaAPI操作HDFS文件系统。

一、win10上搭建hadoop环境

1.官网下载hadoop-2.9.1.tar.gz版本，解压:E:\Program Files\hadoop-2.9.1

2.配置环境变量

HADOOP_HOME=E:\hadoop-2.9.1

PATH=%HADOOP_HOME%\bin

3.将windows上编译的文件hadoop.dll、winutils.exe放至%HADOOP_HOME%\bin下

4.将hadoop.dll放到c:/windows/System32下

5.设置E:\hadoop-2.9.1\etc\hadoop\hadoop-env.cmd中的JAVA_HOME为真实java路径(路径中不能带空格，否者会报错).

6.测试hadoop是否配置成功,命令行输入：hadoop version

二、在eclipse中新建maven工程hadoop-demo

pom.xml配置文件：

org.apache.hadoop

hadoop-client

2.9.1

测试代码：HdfsClientDemo.java

package com.empire.hadoop.hadoop_demo;

import java.net.URI;

import java.util.Iterator;

import java.util.Map.Entry;

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.FileStatus;

import org.apache.hadoop.fs.FileSystem;

import org.apache.hadoop.fs.LocatedFileStatus;

import org.apache.hadoop.fs.Path;

import org.apache.hadoop.fs.RemoteIterator;

import org.junit.Before;

import org.junit.Test;

/**

* hdfs客户端测试

*/

public class HdfsClientDemo {

FileSystem fs = null;

Configuration conf = null;

/**

* 初始化hadoop hdfs文件系统远程客户端

* @throws Exception

*/

@Before

public void init() throws Exception{

conf = new Configuration();

conf.set("fs.defaultFS", "hdfs://master:9000");

//客户端去操作hdfs时，是有一个用户身份的

//默认情况下，hdfs客户端api会从jvm中获取一个参数来作为自己的用户身份：-DHADOOP_USER_NAME=hadoop

//拿到一个文件系统操作的客户端实例对象

/*fs = FileSystem.get(conf);*/

//不配置会报错

System.setProperty("hadoop.home.dir", "E:\\\\hadoop-2.9.1");

//可以直接传入 uri和用户身份

//centos-aaron-h1为namenode的主机名或者域名

fs = FileSystem.get(new URI("hdfs://centos-aaron-h1:9000"),conf,"hadoop"); //最后一个参数为用户名

}

/**

* 上传文件

* @throws Exception

*/

@Test

public void testUpload() throws Exception {

Thread.sleep(2000);

fs.copyFromLocalFile(new Path("F:/access.log"), new Path("/access.log.copy"));

fs.close();

}

/**

* 下载文件

* @throws Exception

*/

@Test

public void testDownload() throws Exception {

fs.copyToLocalFile(new Path("/access.log.copy"), new Path("d:/"));

fs.close();

}

/**

* 打印环境中的配置项

*/

@Test

public void testConf(){

Iterator> iterator = conf.iterator();

while (iterator.hasNext()) {

Entry entry = iterator.next();

System.out.println(entry.getKey() + "--" + entry.getValue());//conf加载的内容

}

}

/**

* 创建目录

*/

@Test

public void makdirTest() throws Exception {

boolean mkdirs = fs.mkdirs(new Path("/aaa/bbb"));

System.out.println(mkdirs);

}

/**

* 删除

*/

@Test

public void deleteTest() throws Exception{

boolean delete = fs.delete(new Path("/aaa"), true);//true， 递归删除

System.out.println(delete);

}

/**

* 递归显示文件

* @throws Exception

*/

@Test

public void listTest() throws Exception{

FileStatus[] listStatus = fs.listStatus(new Path("/"));

for (FileStatus fileStatus : listStatus) {

System.out.println(fileStatus.getPath()+"================="+fileStatus.toString());

System.out.println((fileStatus.isFile()?"file":"directory"));

}

//会递归找到所有的文件

RemoteIterator listFiles = fs.listFiles(new Path("/"), true);

while(listFiles.hasNext()){

LocatedFileStatus next = listFiles.next();

String name = next.getPath().getName();

Path path = next.getPath();

System.out.println(name + "---" + path.toString());

System.out.println((next.isFile()?"file":"directory"));

System.out.println("blocksize: " +next.getBlockSize());

System.out.println("owner: " +next.getOwner());

System.out.println("Replication: " +next.getReplication());

System.out.println("Permission: " +next.getPermission());

System.out.println("Name: " +next.getPath().getName());

System.out.println("------------------");

BlockLocation[] blockLocations = next.getBlockLocations();

for(BlockLocation b:blockLocations){

System.out.println("块起始偏移量: " +b.getOffset());

System.out.println("块长度:" + b.getLength());

//块所在的datanode节点

String[] datanodes = b.getHosts();

for(String dn:datanodes){

System.out.println("datanode:" + dn);

}

}

}

}

public static void main(String[] args) throws Exception {

Configuration conf = new Configuration();

conf.set("fs.defaultFS", "hdfs://master:9000");

//拿到一个文件系统操作的客户端实例对象

FileSystem fs = FileSystem.get(conf);

fs.copyFromLocalFile(new Path("E:/access.log"), new Path("/access.log.copy"));

fs.close();

}

}

运行测试结果(按照上面的配置全部成功), 如果配置路径中带有空格啥的，可能报找不到hadoop命令路径、jdk路径。

三、hadoop文件系统(FileSystem实现类型)

最后寄语，以上是博主本次文章的全部内容，如果大家觉得博主的文章还不错，请点赞；如果您对博主其它服务器大数据技术或者博主本人感兴趣，请关注博主博客，并且欢迎随时跟博主沟通交流。