hadoop05-HDFS的api操作

最新推荐文章于 2020-12-07 22:21:27 发布

戴戴0204

最新推荐文章于 2020-12-07 22:21:27 发布

阅读量228

点赞数

分类专栏： hadoop

本文链接：https://blog.csdn.net/qq_24135817/article/details/81663209

版权

这篇博客详细介绍了如何配置Eclipse以连接HDFS，包括环境变量设置、Hadoop插件安装、winutils配置，以及Java项目中依赖的添加。接着通过四个步骤展示了HDFS的API使用，包括连接测试、文件上传下载以及创建、删除文件的操作。

摘要由CSDN通过智能技术生成

环境配置

eclipse配置hdfs的环境

hadoop的插件hadoop-eclipse-plugin，放在eclipse的安装目录的plugins下

配置本地hadoop的环境

解压hadoop安装包
配置windows下hadoop的环境变量
- 新建：HADOOP_HOME=hadoop的解压路径，我的是：HADOOP_HOME=C:\soft\hadoop-2.7.6
- 在path下加上%HADOOP_HOME%bin;%HADOOP_HOME%sbin
配置windows下hadoop的相关插件
- hadoop.dll放在C:\Windows\System32下
- winutils.exe放在hadoop的安装目录的bin目录下
重启eclipse
配置eclipse可视化界面：
- 启动eclipse；
- windows下搜索hadoop，把hadoop的安装目录导过来，点击确定，应用
- windows下showview选择other搜索mapreduce的location（配置之前保证hadoop集群是启动的）
- 右键—new hadoop location —
- location name = 可以任意指定
- 左边指的是yarn的master，我的是：host：dadoop04,port:9001（注意,需要提前在路径C:\Windows\System32\drivers\etc\hosts下配置好主机映射）
- 右边是hdfs的主节点dfsmaster：dfsmaster的host：hadoop02，port：9000
- username是登陆集群的用户名，我的是:hadoop
- eclipse的可视化界面配置完成之后会出现一个DFS location

java项目中添加依赖：

项目下面建包：lib下的buildpath。
- 好处：代码移动的时候比较方便，联通依赖包一起移动
- 缺点：会造成工程很臃肿，jar包冲突
maven添加依赖
- 好处：代码比较轻便，自动解决jar包冲突的问题
- 缺点：代码移动的时候，需要重新构建
创建本地用户依赖库

代码

1.测试hdfs的链接是否成功1

import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

/**
 * 测试hdfs的链接是否成功
 * @author dai
 *
 */
public class testHdfs {
   
    public static void main(String[] args) throws IOException {
        //hdfs连接有两个重要的配置文件对象
        //对象01：配置文件对象  思考：作用？   配置文件从哪里来的？
        Configuration conf=new Configuration();
        //对象02：文件系统对象 FileSystem 是分布式文件系统的对象。  文件系统的句柄
        //在这里fs就是hdfs文件系统的抽象
        FileSystem fs=FileSystem.get(conf);
        System.out.println(fs);


        //文件上传
        /**
         * 参数1：本地的文件路径
         * 参数2：
         */
        // path对象是hdfs的内置路径对象，类似于windows下的file
        Path src=new Path("C:\\soft\\hadoop-2.7.6\\LICENSE.txt");
        //文件上传   这种方式传到哪里了=====还是本地。 默认情况下上传到工程所在的盘符下
        //上传成功之后生成两个文件：   testxxxx_tmp上传的原始文件，    还有一个testxxxx_tmp.crc文件，他是一个校验文件 
        Path dst=new Path("/testxxxx_tmp");
        fs.copyFromLocalFile(src, dst);

    }

}