使用HDFS API的方式来操作HDFS文件系统（二）

最新推荐文章于 2023-06-01 15:33:35 发布
最新推荐文章于 2023-06-01 15:33:35 发布
阅读量475 收藏 5
点赞数
文章标签： HDFS Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hxxjxw/article/details/107130679
版权

带进度地上传大文件（复制大文件到HDFS文件系统）

package com.imooc.bigdata.hadoop.hdfs;


import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.util.Progressable;
import org.junit.After;
import org.junit.Before;
import org.junit.Test;

import java.io.BufferedInputStream;
import java.io.File;
import java.io.FileInputStream;
import java.io.InputStream;
import java.net.URI;

//使用Java API操作HDFS文件系统

public class HDFSApp {

    public static final String HDFS_PATH = "hdfs://hadoop000:8020";

    FileSystem fileSystem = null;
    Configuration configuration = null;

    @Before
    public void setUp() throws Exception {
        System.out.println("------setUp-------");
        configuration = new Configuration() ;
        configuration.set("dfs.replication","1");
        /**
         * 构造一个访问指定HDFS系统的客户端对象
         * 第一个参数：HDFS的URI
         * 第二个参数：客户端指定的配置参数
         * 第三个参数：客户端的身份，说白了就是用户名
         */
        fileSystem = FileSystem.get(new URI(HDFS_PATH), configuration, "hadoop");
    }

    //创建HDFS目录
    @Test
    public void mkdir() throws Exception{
        fileSystem.mkdirs(new Path("/hdfsapi/test"));
    }

    //查看HDFS内容
    @Test
    public void text() throws Exception{
        FSDataInputStream in = fileSystem.open(new Path("/NOTICE.txt"));
        IOUtils.copyBytes(in,System.out,1024);
    }

    //创建文件并写入
    @Test
    public void create() throws Exception{
        FSDataOutputStream out = fileSystem.create(new Path("/hdfsapi/test/b.txt"));
        out.writeUTF("hello pk");
        out.flush();
        out.close();
    }

    //重命名
    @Test
    public void rename() throws Exception{
        Path oldPath = new Path("/hdfsapi/test/b.txt");
        Path newPath = new Path("/hdfsapi/test/c.txt");
        boolean result = fileSystem.rename(oldPath,newPath);
        System.out.println(result);
    }

    //复制本地文件到HDFS文件系统
    @Test
    public void copyFromLocalFile() throws Exception{
        Path src = new Path("D://hello.txt");
        Path dst = new Path("/hdfsapi/test/");
        fileSystem.copyFromLocalFile(src,dst);
    }

    //复制大文件到HDFS文件系统(带进度)
    @Test
    public void copyFromLocalBigFile() throws Exception{

        InputStream in = new BufferedInputStream(new FileInputStream(new File("H://jdk-8u221-linux-x64.tar.gz")));

        FSDataOutputStream out = fileSystem.create(new Path("/hdfsapi/test/jdk.tgz"),
                new Progressable() {
                    @Override
                    public void progress() {
                        System.out.print(".");
                    }
                });

        IOUtils.copyBytes(in, out ,4096);
    }

    @After
    public void tearDown(){
        configuration = null;
        fileSystem = null;
        System.out.println("------tearDown-------");
    }

}

有显示这个点

 

从HDFS下载文件到本地

从HDFS复制文件到本地

package com.imooc.bigdata.hadoop.hdfs;


import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.util.Progressable;
import org.junit.After;
import org.junit.Before;
import org.junit.Test;
import sun.reflect.annotation.ExceptionProxy;

import java.io.BufferedInputStream;
import java.io.File;
import java.io.FileInputStream;
import java.io.InputStream;
import java.net.URI;

//使用Java API操作HDFS文件系统

public class HDFSApp {

    public static final String HDFS_PATH = "hdfs://hadoop000:8020";

    FileSystem fileSystem = null;
    Configuration configuration = null;

    @Before
    public void setUp() throws Exception {
        System.out.println("------setUp-------");
        configuration = new Configuration() ;
        configuration.set("dfs.replication","1");
        /**
         * 构造一个访问指定HDFS系统的客户端对象
         * 第一个参数：HDFS的URI
         * 第二个参数：客户端指定的配置参数
         * 第三个参数：客户端的身份，说白了就是用户名
         */
        fileSystem = FileSystem.get(new URI(HDFS_PATH), configuration, "hadoop");
    }

    //创建HDFS目录
    @Test
    public void mkdir() throws Exception{
        fileSystem.mkdirs(new Path("/hdfsapi/test"));
    }

    //查看HDFS内容
    @Test
    public void text() throws Exception{
        FSDataInputStream in = fileSystem.open(new Path("/NOTICE.txt"));
        IOUtils.copyBytes(in,System.out,1024);
    }

    //创建文件并写入
    @Test
    public void create() throws Exception{
        FSDataOutputStream out = fileSystem.create(new Path("/hdfsapi/test/b.txt"));
        out.writeUTF("hello pk");
        out.flush();
        out.close();
    }

    //重命名
    @Test
    public void rename() throws Exception{
        Path oldPath = new Path("/hdfsapi/test/b.txt");
        Path newPath = new Path("/hdfsapi/test/c.txt");
        boolean result = fileSystem.rename(oldPath,newPath);
        System.out.println(result);
    }

    //复制本地文件到HDFS文件系统
    @Test
    public void copyFromLocalFile() throws Exception{
        Path src = new Path("D://hello.txt");
        Path dst = new Path("/hdfsapi/test/");
        fileSystem.copyFromLocalFile(src,dst);
    }

    //复制大文件到HDFS文件系统(带进度)
    @Test
    public void copyFromLocalBigFile() throws Exception{

        InputStream in = new BufferedInputStream(new FileInputStream(new File("H://jdk-8u221-linux-x64.tar.gz")));

        FSDataOutputStream out = fileSystem.create(new Path("/hdfsapi/test/jdk.tgz"),
                new Progressable() {
                    @Override
                    public void progress() {
                        System.out.print(".");
                    }
                });

        IOUtils.copyBytes(in, out ,4096);
    }

    //从HDFS复制文件到本地
    @Test
    public void copyToLocalFile() throws Exception{
        Path hdfsPath = new Path("/hdfsapi/test/hello.txt");
        Path localPath = new Path("D://");
        fileSystem.copyToLocalFile(false, hdfsPath,localPath,true);
    }



    @After
    public void tearDown(){
        configuration = null;
        fileSystem = null;
        System.out.println("------tearDown-------");
    }

}

 

列出文件夹下所有文件

package com.imooc.bigdata.hadoop.hdfs;


import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.util.Progressable;
import org.junit.After;
import org.junit.Before;
import org.junit.Test;
import sun.reflect.annotation.ExceptionProxy;

import java.io.BufferedInputStream;
import java.io.File;
import java.io.FileInputStream;
import java.io.InputStream;
import java.net.URI;

//使用Java API操作HDFS文件系统

public class HDFSApp {

    public static final String HDFS_PATH = "hdfs://hadoop000:8020";

    FileSystem fileSystem = null;
    Configuration configuration = null;

    @Before
    public void setUp() throws Exception {
        System.out.println("------setUp-------");
        configuration = new Configuration() ;
        configuration.set("dfs.replication","1");
        /**
         * 构造一个访问指定HDFS系统的客户端对象
         * 第一个参数：HDFS的URI
         * 第二个参数：客户端指定的配置参数
         * 第三个参数：客户端的身份，说白了就是用户名
         */
        fileSystem = FileSystem.get(new URI(HDFS_PATH), configuration, "hadoop");
    }

    //创建HDFS目录
    @Test
    public void mkdir() throws Exception{
        fileSystem.mkdirs(new Path("/hdfsapi/test"));
    }

    //查看HDFS内容
    @Test
    public void text() throws Exception{
        FSDataInputStream in = fileSystem.open(new Path("/NOTICE.txt"));
        IOUtils.copyBytes(in,System.out,1024);
    }

    //创建文件并写入
    @Test
    public void create() throws Exception{
        FSDataOutputStream out = fileSystem.create(new Path("/hdfsapi/test/b.txt"));
        out.writeUTF("hello pk");
        out.flush();
        out.close();
    }

    //重命名
    @Test
    public void rename() throws Exception{
        Path oldPath = new Path("/hdfsapi/test/b.txt");
        Path newPath = new Path("/hdfsapi/test/c.txt");
        boolean result = fileSystem.rename(oldPath,newPath);
        System.out.println(result);
    }

    //复制本地文件到HDFS文件系统
    @Test
    public void copyFromLocalFile() throws Exception{
        Path src = new Path("D://hello.txt");
        Path dst = new Path("/hdfsapi/test/");
        fileSystem.copyFromLocalFile(src,dst);
    }

    //复制大文件到HDFS文件系统(带进度)
    @Test
    public void copyFromLocalBigFile() throws Exception{

        InputStream in = new BufferedInputStream(new FileInputStream(new File("H://jdk-8u221-linux-x64.tar.gz")));

        FSDataOutputStream out = fileSystem.create(new Path("/hdfsapi/test/jdk.tgz"),
                new Progressable() {
                    @Override
                    public void progress() {
                        System.out.print(".");
                    }
                });

        IOUtils.copyBytes(in, out ,4096);
    }

    //从HDFS复制文件到本地
    @Test
    public void copyToLocalFile() throws Exception{
        Path hdfsPath = new Path("/hdfsapi/test/hello.txt");
        Path localPath = new Path("D://");
        fileSystem.copyToLocalFile(false, hdfsPath,localPath,true);
    }

    //列出文件夹下的所有文件
    @Test
    public void listFiles() throws Exception{
        FileStatus[] statuses = fileSystem.listStatus(new Path("/hdfsapi/test/"));

        for(FileStatus file:statuses){
            String isDir = file.isDirectory() ? "文件夹":"文件";
            String permission = file.getPermission().toString();
            short replication = file.getReplication();
            long length = file.getLen();
            String path = file.getPath().toString();

            System.out.println(isDir + "\t" + replication + "\t" + length + "\t" + path);
        }

    }

    @After
    public void tearDown(){
        configuration = null;
        fileSystem = null;
        System.out.println("------tearDown-------");
    }

}

 

查看文件块信息

问你一个文件存储在哪几个节点上，分成了几个块，每个块大小多少

package com.imooc.bigdata.hadoop.hdfs;


import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.util.Progressable;
import org.junit.After;
import org.junit.Before;
import org.junit.Test;
import sun.reflect.annotation.ExceptionProxy;

import java.io.BufferedInputStream;
import java.io.File;
import java.io.FileInputStream;
import java.io.InputStream;
import java.net.URI;

//使用Java API操作HDFS文件系统

public class HDFSApp {

    public static final String HDFS_PATH = "hdfs://hadoop000:8020";

    FileSystem fileSystem = null;
    Configuration configuration = null;

    @Before
    public void setUp() throws Exception {
        System.out.println("------setUp-------");
        configuration = new Configuration() ;
        configuration.set("dfs.replication","1");
        /**
         * 构造一个访问指定HDFS系统的客户端对象
         * 第一个参数：HDFS的URI
         * 第二个参数：客户端指定的配置参数
         * 第三个参数：客户端的身份，说白了就是用户名
         */
        fileSystem = FileSystem.get(new URI(HDFS_PATH), configuration, "hadoop");
    }

    //创建HDFS目录
    @Test
    public void mkdir() throws Exception{
        fileSystem.mkdirs(new Path("/hdfsapi/test"));
    }

    //查看HDFS内容
    @Test
    public void text() throws Exception{
        FSDataInputStream in = fileSystem.open(new Path("/NOTICE.txt"));
        IOUtils.copyBytes(in,System.out,1024);
    }

    //创建文件并写入
    @Test
    public void create() throws Exception{
        FSDataOutputStream out = fileSystem.create(new Path("/hdfsapi/test/b.txt"));
        out.writeUTF("hello pk");
        out.flush();
        out.close();
    }

    //重命名
    @Test
    public void rename() throws Exception{
        Path oldPath = new Path("/hdfsapi/test/b.txt");
        Path newPath = new Path("/hdfsapi/test/c.txt");
        boolean result = fileSystem.rename(oldPath,newPath);
        System.out.println(result);
    }

    //复制本地文件到HDFS文件系统
    @Test
    public void copyFromLocalFile() throws Exception{
        Path src = new Path("D://hello.txt");
        Path dst = new Path("/hdfsapi/test/");
        fileSystem.copyFromLocalFile(src,dst);
    }

    //复制大文件到HDFS文件系统(带进度)
    @Test
    public void copyFromLocalBigFile() throws Exception{

        InputStream in = new BufferedInputStream(new FileInputStream(new File("H://jdk-8u221-linux-x64.tar.gz")));

        FSDataOutputStream out = fileSystem.create(new Path("/hdfsapi/test/jdk.tgz"),
                new Progressable() {
                    @Override
                    public void progress() {
                        System.out.print(".");
                    }
                });

        IOUtils.copyBytes(in, out ,4096);
    }

    //从HDFS复制文件到本地
    @Test
    public void copyToLocalFile() throws Exception{
        Path hdfsPath = new Path("/hdfsapi/test/hello.txt");
        Path localPath = new Path("D://");
        fileSystem.copyToLocalFile(false, hdfsPath,localPath,true);
    }

    //列出文件夹下的所有文件
    @Test
    public void listFiles() throws Exception{
        FileStatus[] statuses = fileSystem.listStatus(new Path("/hdfsapi/test/"));

        for(FileStatus file:statuses){
            String isDir = file.isDirectory() ? "文件夹":"文件";
            String permission = file.getPermission().toString();
            short replication = file.getReplication();
            long length = file.getLen();
            String path = file.getPath().toString();

            System.out.println(isDir + "\t" + replication + "\t" + length + "\t" + path);
        }

    }

    //查看文件块信息
    @Test
    public void getFileBlockLocations() throws Exception{

        FileStatus fileStatus = fileSystem.getFileStatus(new Path("/hdfsapi/test/jdk.tgz"));

        BlockLocation[] blocks = fileSystem.getFileBlockLocations(fileStatus,0,fileStatus.getLen());

        for(BlockLocation block:blocks){

            for(String name:block.getNames()){
                System.out.println(name+" : "+block.getOffset()+" : "+block.getLength());
            }
        }
    }

    @After
    public void tearDown(){
        configuration = null;
        fileSystem = null;
        System.out.println("------tearDown-------");
    }

}

 

删除文件

package com.imooc.bigdata.hadoop.hdfs;


import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.util.Progressable;
import org.junit.After;
import org.junit.Before;
import org.junit.Test;
import sun.reflect.annotation.ExceptionProxy;

import java.io.BufferedInputStream;
import java.io.File;
import java.io.FileInputStream;
import java.io.InputStream;
import java.net.URI;

//使用Java API操作HDFS文件系统

public class HDFSApp {

    public static final String HDFS_PATH = "hdfs://hadoop000:8020";

    FileSystem fileSystem = null;
    Configuration configuration = null;

    @Before
    public void setUp() throws Exception {
        System.out.println("------setUp-------");
        configuration = new Configuration() ;
        configuration.set("dfs.replication","1");
        /**
         * 构造一个访问指定HDFS系统的客户端对象
         * 第一个参数：HDFS的URI
         * 第二个参数：客户端指定的配置参数
         * 第三个参数：客户端的身份，说白了就是用户名
         */
        fileSystem = FileSystem.get(new URI(HDFS_PATH), configuration, "hadoop");
    }

    //创建HDFS目录
    @Test
    public void mkdir() throws Exception{
        fileSystem.mkdirs(new Path("/hdfsapi/test"));
    }

    //查看HDFS内容
    @Test
    public void text() throws Exception{
        FSDataInputStream in = fileSystem.open(new Path("/NOTICE.txt"));
        IOUtils.copyBytes(in,System.out,1024);
    }

    //创建文件并写入
    @Test
    public void create() throws Exception{
        FSDataOutputStream out = fileSystem.create(new Path("/hdfsapi/test/b.txt"));
        out.writeUTF("hello pk");
        out.flush();
        out.close();
    }

    //重命名
    @Test
    public void rename() throws Exception{
        Path oldPath = new Path("/hdfsapi/test/b.txt");
        Path newPath = new Path("/hdfsapi/test/c.txt");
        boolean result = fileSystem.rename(oldPath,newPath);
        System.out.println(result);
    }

    //复制本地文件到HDFS文件系统
    @Test
    public void copyFromLocalFile() throws Exception{
        Path src = new Path("D://hello.txt");
        Path dst = new Path("/hdfsapi/test/");
        fileSystem.copyFromLocalFile(src,dst);
    }

    //复制大文件到HDFS文件系统(带进度)
    @Test
    public void copyFromLocalBigFile() throws Exception{

        InputStream in = new BufferedInputStream(new FileInputStream(new File("H://jdk-8u221-linux-x64.tar.gz")));

        FSDataOutputStream out = fileSystem.create(new Path("/hdfsapi/test/jdk.tgz"),
                new Progressable() {
                    @Override
                    public void progress() {
                        System.out.print(".");
                    }
                });

        IOUtils.copyBytes(in, out ,4096);
    }

    //从HDFS复制文件到本地
    @Test
    public void copyToLocalFile() throws Exception{
        Path hdfsPath = new Path("/hdfsapi/test/hello.txt");
        Path localPath = new Path("D://");
        fileSystem.copyToLocalFile(false, hdfsPath,localPath,true);
    }

    //列出文件夹下的所有文件
    @Test
    public void listFiles() throws Exception{
        FileStatus[] statuses = fileSystem.listStatus(new Path("/hdfsapi/test/"));

        for(FileStatus file:statuses){
            String isDir = file.isDirectory() ? "文件夹":"文件";
            String permission = file.getPermission().toString();
            short replication = file.getReplication();
            long length = file.getLen();
            String path = file.getPath().toString();

            System.out.println(isDir + "\t" + replication + "\t" + length + "\t" + path);
        }

    }

    //查看文件块信息
    @Test
    public void getFileBlockLocations() throws Exception{

        FileStatus fileStatus = fileSystem.getFileStatus(new Path("/hdfsapi/test/jdk.tgz"));

        BlockLocation[] blocks = fileSystem.getFileBlockLocations(fileStatus,0,fileStatus.getLen());

        for(BlockLocation block:blocks){

            for(String name:block.getNames()){
                System.out.println(name+" : "+block.getOffset()+" : "+block.getLength());
            }
        }
    }


    //删除文件
    @Test
    public void delete() throws Exception{
        boolean result = fileSystem.delete(new Path("/hdfsapi/test/jdk.tgz"),true);
        System.out.println(result);
    }


    @After
    public void tearDown(){
        configuration = null;
        fileSystem = null;
        System.out.println("------tearDown-------");
    }

}

jdk.tgz已经没有了

 

 

 

 

hxxjxw
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
HDFS基础文件操作实验
qq_51723187的博客
10-14 1560
本文基于配置完成的Hadoop集群上，完成hdfs的基本操作，包括文件上传，文件重命名与移动，文件的递归查找，查看文件目录下的文件
Hadoop中HDFS文件管理系统的使用
theVicTory的博客
04-21 4568
HDFS系统的组成，文件读写流程，NameNode和DataNode工作原理，使用Shell命令操作HDFS，使用Client API进行数据操作
Hadoop学习笔记之HDFS
Gettler的博客
08-07 2万+
支持海量数据的存储，成百上千的计算机组成存储集群，HDFS可以运行在低成本的硬件之上，具有的高容错、高可靠性、高可扩展性、高吞吐率等特征，非常适合大规模数据集上的应用。
hdfs java操作_java操作HDFS
weixin_39516956的博客
03-02 111
操作步骤IDEA + MAVEN 创建JAVA工程本地安装maven，IDEA配置maven并创建相应的maven项目添加HDFS相关依赖2.6.0-cdh5.7.0//指定hadoop版本clouderahttps://repository.cloudera.com/artifactory/cloudera-repos//指定仓库地址org.apache.hadoop //添加hadoop依赖h...
Hadoop之HDFS的FileSystem接口详解
weixin_34254823的博客
08-26 1301
基本的文件系统命令操作, 通过hadoop fs-help可以获取所有的命令的详细帮助文件。Java抽象类org.apache.hadoop.fs.FileSystem定义了hadoop的一个文件系统接口。Hadoop中关于文件操作类基本上全部是在"org.apache.hadoop.fs"包中，这些API能够支持的操作包含：打开文件，读写文件，删除文件等。Hadoop类库中...
使用Java API操作HDFS分布式文件系统
最新发布
04-11
分布式文件系统hdfs 使用Java API操作HDFS分布式文件系统
HDFS两种操作方式：命令行和Java API
01-07
本节将介绍 Linux 操作系统中关于 HDFS 文件操作的常用命令行，并将介绍利用 Hadoop 提供的 Java API 进行基本的文件操作，以及利用 Web 界面查看和管理 HDFS 的方法。 HDFS 常用命令 在 Linux 命令行终端，可以...
HDFS中JAVA API的使用
08-30
HDFS是一个分布式文件系统，既然是文件系统，就可以对其文件进行操作，比如说新建文件、删除文件、读取文件内容等操作。下面记录一下使用JAVA API对HDFS中的文件进行操作的过程
10hdfsapi第一个案例
01-20
hdfsapi第一个案例（先创建一个包） 解决用户权限问题、获取操作对象的6种方式 以下方法是修改用户权限的操作 权限问题： 解决用户出错的几种方案： vm options： -DHADOOP_USER_NAME=root 2、设置系统环境...
java操作Hadoop源码之HDFS Java API操作-上传文件
01-17
java操作Hadoop源码之HDFS Java API操作-上传文件，附带所需全部jar包，欢迎下载学习。
HDFS文件系统JAVA api访问接口（基于hadoop大数据平台）
06-11
在搭建完hadoop大数据系统（CDH5.16.1）后，如何访问hdfs文件系统上的数据呢？那当然是通过构建maven项目 使用java api接口进行文件了。为此，特别进行了hdfs文件系统java api访问的整理。
10、Hadoop切片机制
u010502101的博客
03-31 3566
一个超大文件在HDFS上存储时，是以多个Block存储在不同的节点上，比如一个1G的文件，HDFS默认一个Block为128M，那么1G的文件分成8个Block存储在集群中8个节点上。 Hadoop在map阶段处理上述1G的大文件时分成几个MapTask进行处理呢？ ...
Hadoop——HDFS文件系统的Java API操作（上传、下载、查看、删除、创建文件）详细教学
热门推荐
小袁同学的博客
11-21 2万+
如果还没有配置好Hadoop的可以点击链接查看如何配置 各大技术基础教学、实战开发教学（正在持续更新中······） 首先，启动Hadoop集群服务 然后在浏览器访问Hadoop，点击Browse the file system 查看HDFS文件系统的目录 可以看到目前HDFS文件系统的目录是空的，没有任何的文件和文件夹，下面开始今天的API操作 一、创建Maven项目 首先，打开IDEA，点击新建项目，在左侧中选择Maven，然后直接点击next 设置项目名称，点...
详细介绍HDFS的API实操与读写流程
twi_twi的博客
10-24 1517
一文详细介绍Hadoop中HDFS的API实操、底层架构与读写流程
最全源码提供，直接Copy拿走，如何使用Java API操作HDFS
悟空非空也
09-14 1668
前言 由于Hadoop是使用Java语言编写的，因此可以使用Java API操作Hadoop文件系统。 使用HDFS提供的Java API构造一个访问客户端对象，然后通过客户端对象对HDFS上的文件进行操作（增、删、改、查）。 准备工作 Hadoop集群搭建 请参考文章 https://www.bilibili.com/read/cv7591643 hadoop-win-2.7.7 window简化阉割版（up主提供，下载链接请见文末） 步骤 1.在Window系统下，配置hadoop环境，使用Jav
如何使用api操作HDFS
mm_ren的博客
06-10 195
使用HDFS API之前，需要在我们项目的pom.xml文件添加关于hadoop的依赖。 1<?xmlversion="1.0"encoding="UT...
利用Java API对HDFS文件系统进行操作
SOARING
03-11 3226
前期配置好centos的namenode和datanode之后，能利用start-dfs.sh正常启动后可用Eclipse编写程序对hdfs文件系统进行相应的增删改查等操作。 首先需要配置hadoop的window环境变量，否则不能进行对hdfs进行正常操作。 打开我的电脑中的属性，环境变量，点新建添加HADOOP_HOME值为你的hadoop所在的目录（注意不要有中文），最后再把hadoop中...
通过使用API来操作HDFS
红豆和绿豆的博客
01-14 474
整体的流程就是： public static final String HDFS_PATH = "hdfs://masterIP:9000/"; Configuration config=new Configuration(); FileSystem fs=FileSystem.get(new URI(HDFS_PATH ),config); //FIleSystem类是操作文件的主要的
Hadoop-HDFS API+工作机制简述
qq_35716887的博客
06-01 273
这是一种分布式的文件系统，用于管理在不同机器上的文件存储，通过目录树的方式来定义文件存储位置。适合一次写入，多次读出的情况。一个文件的修改只能在末尾追加，而不能在中间修改。
编写一个使用hdfs及其java api实现的简易文件云盘系统
04-23
首先，我会使用Java中的HDFS API来连接和操作HDFS。然后，使用JavaWeb或SpringMVC框架搭建网站，并使用JSP或HTML实现网页的展示和交互。 在用户登录和注册方面，我们可以使用数据库存储用户信息，比如MySQL或Oracle...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值