大数据学习笔记（六）HDFS-API

一、HDFS-API

使用编程语言通过调用HDFS对方外提供的API进行操作。

####1. windows中的配置

先将hadoop安装文件解压到一个非中文路径.

配置hadoop环境变量

右键（我的电脑）->环境变量->系统变量->
新建HADOOP_HOME  ->路径
找到PATH，win7是新增 ;%HADOOP_HOME%\bin;%HADOOP_HOME%\sbin

2.Java的单元测试 Junit

//新建maven项目 ,修改pom文件,新增
<dependencies>
        <!--junit java的单元测试-->
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>RELEASE</version>
            <scope>test</scope>
        </dependency>
        
</dependencies>

操作单元测试的核心注解:
@Test
加在方法上面，此方法，就可以独立运行。
@Before
被注解的方法，会在单元测试执行之前，先运行
@After
被注解的方法，会在单元测试方法执行之后，此方法运行
总结:
Before 注解可以进行成员的初始化,After注解通常都是释放资源.

3. 导入hadoop依赖jar

1.在pom中,导入提示快捷键是:alt+ctrl+空格
2.可以使用alt+insert进行可视化导入

4.HDFS API核心类

//1.FileSystem类
//2.Configuration类
//3.Path类
//操作流程
/*
	1.创建FS
	2.操作FS
	3.关闭FS
*/
Maven pom编写完毕之后，需要执行两个操作才可以使用hadoop-client
1.右侧maven->lifecycle->clean  (清理)
2.                   ->install (安装)
将log4j.properties文件复制到项目的src/main/java/resource目录
//1.定义一个默认配置文件
Configuration conf = new Configuration();
//2.定义一个filesystem对象
FileSystem fs = FileSystem.get(new URI("hdfs://dt100:9000"), conf, "dt");
//3.操作fs
boolean b = fs.delete(new Path("/dt100"));
            
//4.关闭fs
fs.close();