HDFS操作

最新推荐文章于 2023-07-13 00:29:33 发布
最新推荐文章于 2023-07-13 00:29:33 发布
阅读量162 收藏
点赞数
分类专栏： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35211324/article/details/111692246
版权

HDFS是什么

hdfs是hadoop项目的核心子项目，是一个分布式存储的文件系统。具有以下特点：

  1. 高容错性。hdfs自动创建多个副本。当某一个副本丢失hdfs会复制其他机器上的副本
  2. 适合大数据处理，能够处理GB,TB,PB级别的数据
  3. 基于硬盘迭代的IO。一旦写入就不能修改。
  4. 可以装在廉价的机器上

HDFS的常用命令

version

version可以用来查看版本

[hadoop@hadoop01 bin]$ hadoop version
Hadoop 3.2.1
Source code repository https://gitbox.apache.org/repos/asf/hadoop.git -r b3cbbb467e22ea829b3808f4b7b01d07e0bf3842
Compiled by rohithsharmaks on 2019-09-10T15:56Z
Compiled with protoc 2.5.0
From source with checksum 776eaf9eee9c0ffc370bcbc1888737
This command was run using /home/hadoop/BD/hadoop-3.2.1/share/hadoop/common/hadoop-common-3.2.1.jar

dfsadmin

dfsadmin 命令可以查看集群存储空间使用情况

[hadoop@hadoop01 bin]$ hadoop dfsadmin -report
WARNING: Use of this script to execute dfsadmin is deprecated.
WARNING: Attempting to execute replacement "hdfs dfsadmin" instead.

Configured Capacity: 115360407552 (107.44 GB)
Present Capacity: 72069640192 (67.12 GB)
DFS Remaining: 70385803264 (65.55 GB)
DFS Used: 1683836928 (1.57 GB)
DFS Used%: 2.34%
Replicated Blocks:
        Under replicated blocks: 8
        Blocks with corrupt replicas: 0
        Missing blocks: 0
        Missing blocks (with replication factor 1): 0
        Low redundancy blocks with highest priority to recover: 0
        Pending deletion blocks: 0
Erasure Coded Block Groups:
        Low redundancy block groups: 0
        Block groups with corrupt internal blocks: 0
        Missing block groups: 0
        Low redundancy blocks with highest priority to recover: 0
        Pending deletion blocks: 0

-------------------------------------------------
Live datanodes (3):

Name: 192.168.229.201:9866 (hadoop03)
Hostname: hadoop03
Decommission Status : Normal
Configured Capacity: 38453469184 (35.81 GB)
DFS Used: 561278976 (535.28 MB)
Non DFS Used: 14261157888 (13.28 GB)
DFS Remaining: 23631032320 (22.01 GB)
DFS Used%: 1.46%
DFS Remaining%: 61.45%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Fri Dec 25 01:22:47 PST 2020
Last Block Report: Thu Dec 24 23:20:39 PST 2020
Num of Blocks: 49


Name: 192.168.229.202:9866 (hadoop04)
Hostname: hadoop04
Decommission Status : Normal
Configured Capacity: 38453469184 (35.81 GB)
DFS Used: 561278976 (535.28 MB)
Non DFS Used: 12875857920 (11.99 GB)
DFS Remaining: 25016332288 (23.30 GB)
DFS Used%: 1.46%
DFS Remaining%: 65.06%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Fri Dec 25 01:22:47 PST 2020
Last Block Report: Thu Dec 24 23:20:39 PST 2020
Num of Blocks: 49


Name: 192.168.229.203:9866 (hadoop05)
Hostname: hadoop05
Decommission Status : Normal
Configured Capacity: 38453469184 (35.81 GB)
DFS Used: 561278976 (535.28 MB)
Non DFS Used: 16153751552 (15.04 GB)
DFS Remaining: 21738438656 (20.25 GB)
DFS Used%: 1.46%
DFS Remaining%: 56.53%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Fri Dec 25 01:22:48 PST 2020
Last Block Report: Thu Dec 24 23:20:39 PST 2020
Num of Blocks: 49

jar

jar 命令可以用来运行包含MapReduce程序的jar包

hadoop jar WordCount.jar

fs

fs命令可以操作hdfs上的文件。该命令有很多子命令。

  1. cat可以查看指定文件或指定文件夹下的所有文件
hadoop fs -cat

在这里插入图片描述
2. copyFromLocal功能和put类似，将本地文件上传到hdfs
3. copyToLocal和get类似，将hdfs上的文件下载到本地

hadoop fs -put ./b.txt /    #如果不写目标位置会默认上传到/user/{系统当前用户}/ 目录下
hadoop fs -copyFromLocal ./b.txt /
hadoop fs -get /b.txt
hadoop fs -copyToLocal /b.txt
  1. cp从hdfs的一个位置复制到hdfs的另外一个位置
  2. du查看文件或文件夹的属性信息
hadoop fs -du /

在这里插入图片描述
可以看到这里有三列，第一列和第二列的数字大小大概是1:3的关系。第一列表示的是文件的大小，第二列表示的是占用hdfs空间的大小，和备份数量有关系。因为设置的备份数为3，所以比例是1:3。设置备份数量可以在hdfs-site.xml中修改下面配置

<property>
		<name>dfs.replication</name>
		<value>3</value>
</property>

另外，此命令后面还可以接-h参数。hadoop fs -du -h /
在这里插入图片描述
6. expunge 清空回收站

hadoop fs -expunge

hadoop的回收站功能默认是不开启的，可以通过core-site.xml配置

 <!--配置回收站，单位分钟 -->
        <property>
                <name>fs.trash.interval</name>
                <value>60</value>
        </property>

当删除文件后，文件会自动移动到回收站，存放指定时间后彻底删除。如果想恢复文件，可以使用mv命令移动到指定位置。回收站默认路径/user/{系统当前用户}/.Trash
7. getmerge 可以将hadoop上的一个文件夹下所有文件合并下载

hadoop fs -getmerge /input ~/score #/input Hadoop上的文件夹 ~/socre 本地文件

8.ls查看所有文件hadoop fs -ls /
9.lsr 递归查看文件夹下文件，ls -r 简写。hadoop fs -lsr /
10.mkdir创建目录
11.mv移动文件
12.rm删除文件
13.tail将文件末尾1KB输出到标准输出，支持-f选项

20190526
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
文件的读写基本操作
范高伦的博客
09-07 1万+
一、文件是计算机中数据持久化存储的表现形式 读写文件标准操作格式1： 1、打开文件：file1 = open('文件名','读写模式') 2、操作文件 3、关闭文件：file1.close() 文件操作完毕后必须关闭，否则长期保持对文件的连接状态，造成内存溢出的现象发生 读写文件操作格式2： # 1、打开文件 file1 = open('demo.txt','w') # 2、操作文件 file1.write('hello world') # 3、关闭文件 file1.close() 1、打开文件：wi
Rsync工作原理
weixin_33819479的博客
06-13 179
  一 Rsync 1）软件简介 Rsync 是一个远程数据同步工具，可通过 LAN/WAN 快速同步多台主机间的文件。Rsync 本来是用以取代rcp 的一个工具，它当前由 Rsync.samba.org 维护。Rsync 使用所谓的“Rsync 演算法”来使本地和远程两个主机之间的文件达到同步，这个算法只传送两个文件的不同部分，而不是每次都整份传送，因此速度相当快。运行 Rsync se...
向文件in.txt中写入字符串HelloWorld。
Acceleration_的博客
03-20 5867
#include<stdio.h> void solve() { /********** Begin *********/ FILE * pfile = fopen("in.txt","w"); fprintf(pfile,"HelloWorld"); fclose(pfile); /********** End **********/ }
Golang读写文件
umgsai的专栏
05-22 734
使用带缓冲区的方式读取文件 package main import ( "bufio" "fmt" "io" "os" ) func main() { file, err := os.Open("/Users/shangyidong/Downloads/test.txt") if err != nil { fmt.Printf("open file error:%v\n", err) return } // 函数结束前关闭文件 defer file.Close() fmt
Python程序判断文件是否被打开被占用
serfend's blog
04-14 4799
完整代码 # -*- coding: utf-8 -*- # -*- version: python3.x -*- import zlib import base64 import os import win32file as w def is_open(filename): if not os.access(filename, os.F_OK): return False try: handle = w.CreateFile(filename, w.GEN
HDFS基本操作
ji丶的博客
07-05 387
Shell命令选项 Shell常用命令- - ls使用方法：hadoop fs -ls [-h] [-R] &lt;args&gt;功能：显示文件、目录信息。示例：hadoop fs -ls /user/hadoop/file1- - mkdir使用方法：hadoop fs -mkdir [-p] &lt;paths&gt;功能：在 hdfs 上创建目录，-p 表示会创建路径中的各级父目录。示例：...
实验二：熟悉常用的HDFS操作
05-05
实验二：“熟悉常用的HDFS操作”旨在帮助学习者深入理解Hadoop分布式文件系统（HDFS）在大数据处理中的核心地位，以及如何通过Shell命令和Java API进行高效操作。HDFS在Hadoop架构中扮演着存储大数据的核心角色，为...
数据科学导论实验报告 实验2:熟悉常用的HDFS操作
04-30
实验内容包括编程实现HDFS操作以及使用Hadoop的Shell命令来完成相同任务。 首先，我们需要理解HDFS的基本操作，如上传文件、追加内容和覆盖文件。这些操作在大数据处理场景中至关重要，因为它们允许我们高效地管理...
大数据技术基础实验报告-调用Java API实现HDFS操作.doc
08-21
【大数据技术基础实验报告-调用Java API实现HDFS操作】 本实验主要涵盖了大数据技术的基础，特别是如何在Linux环境下利用Java API对Hadoop分布式文件系统（HDFS）进行操作。实验涉及的主要步骤包括Eclipse的安装、...
实验2常用的HDFS操作.doc
04-01
Shell命令和java两种方式完成了常用的HDFS操作，有源代码及运行结果截图 （1）向HDFS中上传任意文本文件，如果指定的文件在HDFS中已经存在，则由用户来指定是追加到原有文件末尾还是覆盖原有的文件 （2）从HDFS中...
数据存储实验2-熟悉常用的HDFS操作.doc（实验报告）
10-21
本实验的目的旨在熟悉常用的HDFS操作命令，包括： * 理解HDFS在Hadoop体系结构中的角色 * 熟练使用HDFS操作常用的Shell命令 * 熟悉HDFS操作常用的Java API 实验平台 实验平台操作系统：Linux Hadoop版本：2.6.0或...
golang的文件读写操作
最新发布
weixin_44684942的博客
07-13 1071
golang的io的一些基本操作
Rsync工作原理及配置步骤（Xmind导图）
wuhanyeah
06-27 692
链接：https://pan.baidu.com/s/1Jmv-kiLPIkdhC-Q1Tvq6AQ 密码：eyzl链接永久有效，如未知消失，请向作者索取。
临时目录的原始文件不是360的合法文件_Microsoft Office中URI劫持漏洞所导致的目录穿越...
weixin_39554434的博客
12-04 2746
2018年12月，我们收到了Andrea Micalizzi关于微软Office的漏洞报告。在确认漏洞存在后，被标记为CVE-2019-0801，且微软于今年4月发布了漏洞补丁。现在就和大家分享一下漏洞细节。关于Microsoft Office，有一个隐藏的细节，就是安装时它会用各种URI schemes执行各种操作，想了解细节可以点击这里。利用这些URI schemes，你可以从浏览器中启动Of...
golang文件读写操作
abcnull 的博客
05-29 997
文章目录 golang 常用输入输出 常用：读取文件成 []byte 一种是生成 File，再利用 File 读或者写；另一种通过 ioutil 包直接对某路径下文件进行读写 // 依据相对路径拿到 *File 类型 jsonFile, err := os.Open(path) defer jsonFile.Close() // 将读取的文件读成 []byte jsonData, err := ioutil.ReadAll(jsonFile) // 通过序列化机制，把 []byte 转成特定结构 struc
临时目录的原始文件不是360的合法文件_python3从零学习-5.4.6、生成临时文件和目录tempfile...
weixin_39814960的博客
12-06 3142
源代码： Lib/tempfile.py该模块用于创建临时文件和目录，它可以跨平台使用。TemporaryFile、NamedTemporaryFile、TemporaryDirectory 和 SpooledTemporaryFile 是带有自动清理功能的高级接口，可用作上下文管理器。mkstemp() 和 mkdtemp() 是低级函数，使用完毕需手动清理。所有由用户调用的函数和构造函数都带有...
如何用Python判断一个文件是否被占用？
简说Python的博客
01-08 2266
↑↑↑关注后"星标"简说Python人人都可以简单入门Python、爬虫、数据分析 简说Python推荐作者：SevDot链接：https://www.jianshu.c...
Hadoop用户、用户组以及权限
qq_35211324的博客
12-28 6818
hadoop的用户和用户组使用的是Linux中的用户组。先看一个问题，如何把root用户加入到超级组supergroup 先创建用户组：supergroup groupadd supergroup 然后把root用户添加到该组 usermod -a -G supergroup root 刷新hadoop上的用户和用户组映射 hdfs dfsadmin -refreshUserToGroupsMappings 第一次执行，root用户并没有获得supergroup组的权限，可能是因为执行的机器hado
Hadoop实验：HDFS操作与Java API实战
"实验2 熟悉常用的HDFS操作" 在这个实验中，目标是让学生深入理解HDFS（Hadoop Distributed File System）在Hadoop架构中的核心地位，并掌握HDFS的常用操作，包括通过Shell命令和Java API进行交互。实验环境设定为...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值