HDFS的操作SHELL和API

最新推荐文章于 2021-12-13 23:53:29 发布
最新推荐文章于 2021-12-13 23:53:29 发布
阅读量316 收藏
点赞数 1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39084521/article/details/89709915
版权
HDFS的shell操作和JavaAPI的使用：

WEB

  • WEB端口50090查看SecondaryNameNode信息。可以查看Hadoop的版本，NameNode的IP，Checkpoint等信息。

FBatc4.md.png

  • WEB端口50070可以查看HDFS的信息和目录结构

    FBay9O.md.png

FBacge.png

SHELL

查看
1
2
3
4
hdfs dfs -ls [-d][-h][-R] <paths>
[-d]:返回path
[-h]:按照KMG数据大小单位显示文件大小，默认B
[-R]:级联显示paths下文件
创建文件夹
1
hdfs dfs -mkdir [-p]<paths>
新建文件
1
hdfs dfs -touchz<paths>
查看文件
1
2
3
hdfs dfs -cat/[-ignoreCrc] [src]
hdfs dfs -text -ignoreCrc /input/test  #忽略校验
hdfs dfs -cat -ignoreCrc /input/test
追写文件
1
2
hdfs dfs --appendToFile <localsrc> <dst>
如果localsrc为"-"表示数据来自键盘输入用"Ctrc+C"取消输入
上传下载
1
2
hdfs dfs -put [-f][-p]<localsrc> <dst>   # 上传到指定目录
hdfs dfs -get [-p]<src>   <localhost>    # 现在到本地
删除文件
1
2
3
hdfs dfs -rm [-f] [-r] <src>
-f 如果要删除的文件不存在,不显示错误信息
-r/R 级联删除目录下所有文件和子目录文件
磁盘空间
1
2
3
hdfs dfs -du[-s][-h]<path>
[-s]显示指定目录所占空间大小
[-h]按照K M G 数据显示文件大小

JAVA API

步骤

  1. 实例化Configuration

Configuration封装了客户端或服务器的配置，Confiuration实例会自动加载HDFS的配置文件core-site.xml，从中获取Hadoop集群中的配置信息。因此我们要把集群的配置core-site.xml放在Maven项目的resources目录下。

1
Configuration conf = new Configuration();
  1. 实例化FileSystem

FileSystem类是客户端访问文件系统的入口，是一个抽象的文件系统。DistributedFileSystem类是FileSystem的一个具体实现。实例化FileSystem并发挥默认的文件系统代码如下：

1
FileSystem fs = FileSystem.get(conf);
  1. 设置目标对象的路径

HDFS API 提供了Path类来封装文件路径。PATH类位于org.apache.hadoop.fs.Path包中，代码如下：

1
Path path = new Path("/input/write.txt");

执行文件操作

得到Filesystem实例后，就可以使用该实例提供的方法成员执行相应的操作。如果：打开文件，创建文件、重命名文件、删除文件。

​ FileSystem类常用成员函数

方法名称及参数返回值功能
create(Path f)FSDataOutputStream创建一个文件
open(Path f)FSDatatInputStream打开指定的文件
delete(Path f)boolean删除指定文件
exsits(Path f)boolean检查文件是否存在
getBlockSize(Path f)long返回指定的数据块的大小
getLength(Path f)long返回文件长度
mkdir(Path f)boolean检查文件是否存在
copyFromLocalFile(Path src, Path dst)void从本地磁盘复制文件到HDFS
copyToLocalFile(Path src, Path dst)void从HDFS复制文件到本地磁盘
………..……….…………….
上传文件
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
package hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.net.URI;


public class PutFile {
    public static void main(String[] args) throws Exception {

        Configuration conf = new Configuration();

        FileSystem fs = FileSystem.get(URI.create("hdfs://datanode1:9000"),conf,"hadoop");

        //本地文件
        Path src = new Path("D:\\上传文件.txt");

        //HDFS 路径
        Path dst = new Path("/input/上传文件.txt");

        fs.copyFromLocalFile(src, dst);
        fs.close();
        System.out.println("文件上传成功");
    }
}
创建文件
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
package hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.net.URI;

public class CreateFile {
    public static void main(String[] args) throws Exception {
        Configuration conf = new Configuration();

        FileSystem fs = FileSystem.get(URI.create("hdfs://datanode1:9000"), conf, "hadoop");
        Path dfs = new Path("/input/上传文件.txt");
        FSDataOutputStream newFile = fs.create(dfs, true);  //是否覆盖文件 true 覆盖 false 追加
        newFile.writeBytes("this is a create file tes");
        System.out.println("创建文件成功");

    }
}
文件详情
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
package hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.net.URI;
import java.text.SimpleDateFormat;
import java.util.Date;

public class SeeInfo {
    public static void main(String[] args) throws Exception {
        Configuration conf = new Configuration();

        FileSystem fs = FileSystem.get(URI.create("hdfs://datanode1:9000"), conf, "hadoop");

        // HDFS文件
        Path fpath = new Path("/input/上传文件.txt");

        FileStatus fileLinkStatus = fs.getFileLinkStatus(fpath);
        //获得块大小
        long blockSize = fileLinkStatus.getBlockSize();
        System.out.println("blocksize:    " + blockSize);

        //获得文件大小
        long len = fileLinkStatus.getLen();
        System.out.println("Filesize:    " + len);

        //获得文件所有者
        String owner = fileLinkStatus.getOwner();
        System.out.println("FileOwner:     " + owner);

        //获得创建时间
        SimpleDateFormat formater = new SimpleDateFormat("yyyy-MM-dd hh:mm:ss");
        long accessTime = fileLinkStatus.getAccessTime();
        System.out.println("access time:   " + formater.format(new Date(accessTime)));

        //获得修改时间
        long modificationTime = fileLinkStatus.getModificationTime();
        System.out.println("modify time:    " + formater.format(new Date(modificationTime)));

    }
}

FBsDLF.png

下载文件
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
package hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;

import java.io.FileOutputStream;
import java.io.InputStream;
import java.io.OutputStream;
import java.net.URI;

public class GetFIle {
    public static void main(String[] args) throws Exception {
        Configuration conf = new Configuration();

        FileSystem fs = FileSystem.get(URI.create("hdfs://datanode1:9000"), conf, "hadoop");
        // HDFS 文件
        InputStream in = fs.open(new Path("/input/上传文件.txt"));

        //保存到本地位置
        OutputStream out = new FileOutputStream("D://下载文件.txt");
        IOUtils.copyBytes(in, out, 4096, true);

        System.out.println("下载文件成功");
        fs.close();

    }
}
删除文件
hdfs; 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
package hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.net.URI;

public class DeleteFile {
    public static void main(String[] args) throws Exception {
        Configuration conf = new Configuration();

        FileSystem fs = FileSystem.get(URI.create("hdfs://datanode1:9000"), conf, "hadoop");

        Path path = new Path("/input/上传文件.txt");
        fs.delete(path);
        System.out.println("删除成功");
    }
}
清风笑丶
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
实验二、HDFS shell操作及HDFS Java API编程
04-10
适合刚接触hadoop的学生或小白，内容包括HDFS shell操作及HDFS Java API编程 有图片有代码
hdfs：HDFS的API和命令行界面
02-02
HDFS的API和命令行界面。 $ hdfscli --alias=dev Welcome to the interactive HDFS python shell. The HDFS client is available as `CLIENT`. In [1]: CLIENT.list('models/') Out[1]: ['1.json', '2.json'] In ...
HDFS的shell和API操作
weixin_33901926的博客
01-11 140
1. HDFS的shell操作 hadoop version //查看版本 hadoop fs -appendToFile src(Linux中的文件) dest(hdfs目录下的文件) //追加 hadoop fs -cat file(hdfs目录下的文件) //查看文件内容 Hadoop fs -tail file(hdfs目录下的文件) //查看...
HDFS的Shell操作与API操作
m0_51691291的博客
11-24 565
HDFS的Shell操作与API操作1、HDFS的Shell操作1.1、基本语法1.2、上传1.3、下载1.4、HDFS 直接操作2、HDFS的API操作2.1、获取文件系统2.2、javaAPI操作HDFS 1、HDFS的Shell操作 1.1、基本语法 hadoop fs 具体命令 hdfs dfs 具体命令 具体命令 [-appendToFile … ] [-cat [-ignoreCrc] …] [-chgrp [-R] GROUP PATH…] [-chmod [-R] <MODE[,
HDFS中的shell操作
weixin_34248487的博客
11-21 100
HDFS文件系统： HDFS 是存取数据的分布式文件系统，那么对 HDFS 的操作，就是文件系统的基本操作，比如文件的创建、修改、删除、修改权限等，文件夹的创建、删除、重命名等。对HDFS 的操作命令类似于 lLinux 的 shell 对文件的操作，如 ls、mkdir、rm 等。 我们执行以下操作的时候，一定要确定 hadoop 是正常运行的，使用 jps 命令确保看到各个hadoop进...
大数据技术基础实验报告-调用Java API实现HDFS操作.doc
08-21
大数据技术基础实验报告-调用Java API实现HDFS操作
实验2 熟悉常用的HDFS操作
10-13
通过这个实验，学生将掌握使用Shell命令以及Java API进行HDFS的基本操作。 实验环境包括基于Linux的操作系统（推荐Ubuntu 16.04或18.04），Hadoop版本3.1.3，JDK 1.8，以及Java集成开发环境Eclipse。在这样的环境下...
实验二：熟悉常用的HDFS操作
05-05
(2）熟练使用HDFS操作常用的 Shell命令。(3)熟悉HDFS操作常用的Java API。 A.2.2 实验平台 (1）操作系统:Linux(建议Ubuntu 16.04）。(2) Hadoop版本:2.7.1。 (3）JDK版本:1.7或以上版本。(4) Java IDE:Eclipse。
Hadoop系列七之HDFS的Shell和Idea操作
weixin_43497829的博客
02-24 191
1.HDFS的Shell操作 1.1 基本语法 语法一： bin/hadoop fs 命令 语法二： bin/hdfs dfs 命令 1.2 命令大全 [JL@hadoop101 hadoop-3.1.3]$ bin/hadoop fs [-appendToFile <localsrc> ... <dst>] [-cat [-ignoreCrc] <src> ...] [-checksum <src> ...]
大数据（4） - HDFS常用的shell操作
weixin_33785972的博客
09-04 113
注意：这次使用的是第二部分安装的集群，不是高可用集群 为了方便，开发，必须写集群脚本，试想集群的机器是100台以上，而不是3台的情况。。。。 集群启动脚本 vim /home/admin/tools/start-cluster.sh #!/bin/bash echo "================ 开始启动所有节点服务 ===========...
hdfs的shell操作
何冠勋的博客
09-02 365
目前2.4.1的版本shell的操作总共有这么一些，可以使用命令：hadoop fs 来查看有哪一些 [hadoop@hadoop01 app]$ hadoop fs Usage: hadoop fs [generic options] [-appendToFile ... ] [-cat [-ignoreCrc] ...] [-checksum ...] [-chgrp [-R]
分布式文件系统HDFS Shell命令和API编程
weixin_43640161的博客
09-30 1042
分布式文件系统HDFS Shell命令和API编程 Hadoop分布式文件系统（Hadoop Distributed File System,HDFS）是Hadoop核心组件之一，如果已经安装了Hadoop，其中就已经包含了HDFS组件，不需要另外安装。 利用Shell命令与HDFS进行交互 Hadoop支持很多Shell命令，其中fs是HDFS最常用的命令，利用fs可以查看HDFS文件系统的目录结构、上传和下载数据、创建文件等。 注意： 命令是以”./bin/hadoop dfs”开头的Shell命令方
HDFS Shell操作練習
天道酬勤
01-10 221
http://trac.nchc.org.tw/cloud/wiki Content 1. HDFS Shell基本操作 1.1 瀏覽你HDFS目錄 /opt/hadoop$ bin/hadoop fs -ls 1.2 上傳資料到HDFS目錄 上傳 /opt/hadoop$ bin/hadoop fs -put conf input 檢查 /opt/hadoop...
hadoop系列(三) HDFS的shell操作和常用API操作
qq_38130094的博客
12-13 817
hdfs是一个文件系统所以他有类似于unix,linux/有用户的概念(持有者，持有组)有权限的概念有权限的概念：hdfs 的权限是自己控制的，来自于hdfs的超级用户(hadoop的启动用户)使用：./hdfs dfs -chown test:test /root结论 默认hdfs 依赖操作系统上的用户和组。
hadoop学习笔记1.使用shell和JAVA API操作HDFS
H U C
07-24 1220
我们接着上一节来，上次我们已经把伪分布式环境搭建好了。 OK，我们先来测试一下 ，跑跑自带的例子wordcount 1.运行wordcount测试MapReduce administrator@ubuntu:~$ mkdir input administrator@ubuntu:~$ cd input administrator@ubuntu:~/input$ echo
HDFS简单的shell操作--大数据纪录片第二记
weixin_30706691的博客
10-25 70
一、基本语法： bin/hadoop fs -具体命令 二、部分简单命令操作 　　1、显示命令的参数：　　help ls 　　 　　2、显示该目录下所有文件：　　ls 目录 　　 　　3、在hdfs上创建目录：　　mkdir　目录 　　 　　4、从本地剪切到hdfs上：　　moveFromLocal 本地位置 hdfs上位置 　　 　　5、追加一个文件A到已存在文件B末尾：　　...
Linux命令--rmdir
dggwtsab530713的博客
07-08 108
命令说明 rmdir #删除空目录（目录没有任何文件） 范例理解 [root@db01 ~]# mkdir /root/chenliang #创建/root/chenliang目录 [root@db01 ~]# ls -ld /root/chenliang/ #查看是否创建成...
使用shell和API进行HDFS的操作的区别有哪些
最新发布
10-31
使用shell和API进行HDFS的操作的区别主要有以下几点： 1. 操作方式不同：使用shell命令行操作HDFS时，需要在虚拟机集群或者远程连接工具上进行操作；而使用Java API操作HDFS时，需要在Windows系统下的IDEA软件上编写...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值