4.3 HDFS的shell操作

已于 2022-11-24 21:03:33 修改
阅读量575 收藏
点赞数
文章标签： 大数据 hdfs hadoop
于 2022-11-24 21:03:18 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_66293661/article/details/128024627
版权
本文详细介绍了HDFS的shell操作，包括创建时间戳文件、复制文件与目录、查看文件大小、上传与下载文件、计数、检查本地库、进入和退出安全模式等，并通过案例展示了如何使用Shell定时采集数据到HDFS。
摘要由CSDN通过智能技术生成

接上节

11.创建时间戳文件

在 /ied01目录里创建一个文件 sunshine.txt，

执行命令：hdfs dfs -touchz /ied01/sunshine.txt

 在这里查看刚才创建的文件，是一个空文件

这种空文件，叫做时间戳文件，再次在  /ied01目录下创建sunshine.txt同名文件

12.复制文件或目录

1.同名复制文件

将 /ied01/music.txt 复制到/ied02里，执行命令：hdfs dfs -cp /ied01/music.txt /ied02

 查看复制过去的文件

2.改名复制的文件

将 /ied01/exam.txt 复制到 /ied02 目录，改名为 read.txt

执行

最低0.47元/天 解锁文章
偏心你401
关注
大数据讲课笔记4.3 HDFS的Shell操作
howard2005的专栏
10-05 1680
1. 熟悉HDFS Shell常用命令操作； 2. 掌握Shell定时采集数据到HDFS
Hadoop查看文件个数&文件大小&文件夹大小
practice
04-09 8384
一、表中文件个数： hdfs dfs -du -h /user/hive/warehouse/ods.db/test_01 | wc -l 二、 显示前5行（如果文件个数是200个会刷屏） hdfs dfs -du -h /user/hive/warehouse/ods.db/test_01 | sed -n 1,5p 三、查看总文件夹大小 hdfs dfs -du -h -s /user/warehouse/ods.db/test_01 ...
HDFS基本命令
雷神乐乐的博客
02-07 8095
HDFS基本命令
统计HDFS中文件数量、大小、以及在某范围大小的文件数量
最新发布
十八闲客的博客,专注于大数据运维
07-21 460
使用：hdfs dfs -ls -R / |grep ^-数据保存在 data.txt 文件中；
统计HDFS文件数量,大小,以及在某范围大小的文件数量
mega-victor
11-14 1万+
统计HDFS文件数量大小，小于20M文件数量 hadoop fs -du -h / # 统计文件大小 hadoop fs -count / # 统计文件数量，返回的数据是目录个数，文件个数，文件总计大小，输入路径 hadoop fs -ls -R /path/data | grep ^- > ~/data.txt #统计所有文件的信息，过滤文件夹,只统计文件.因为使用ls -l 之后,可以看到文
实验3 - HDFS的管理和使用
weixin_43657927的博客
01-09 2431
hadoop
hadoop 查看文件大小以及文件数
web18536564348的博客
08-17 3424
hadoop fs -du-h 文件路径。2.查看当前目录文件下每个文件大小。1.查看当前目录文件总大小。
福建师范大学精品大数据导论课程系列 (5.6.1)--4.3 基于HDFS的数据库之三.pdf
09-25
HBase Shell是管理HBase的主要工具，提供了创建、删除、修改表，以及执行各种操作的命令。例如，`create`用于创建表，`alter`用于修改表结构，`count`统计表中行的数量，`delete`和`deleteall`用于删除数据，`...
hdfs源码.zip
07-14
5．1．4 HDFS文件与操作方法 451 5．1．5 HDFS文件读写方法 452 5．2 文件读操作与输入流 452 5．2．1 打开文件 452 5．2．2 读操作――DFSInputStream实现 461 5．3 文件短路读操作 481 5．3．1 短路读共享内存 482...
第4章 HDFS 2 4.1. 简介 2 4.1.1. 概述 2 4.1.2. 组成架构 4 4.1.3. HDFS文件块大小
05-21
4.2. HDFS的shell操作 6 4.2.1. 基本语法 7 4.2.2. 参数大全 8 4.2.3. 常用命令实操 9 4.3. 通过Java实现HDFS操作及访问 14 4.3.1. IntelliJ IDEA 16 4.3.2. maven软件安装与配置 17 4.3.3. IDEA关联maven插件 19 ...
大数据-HDFS（七）
01-07
大数据-HDFS（七） DataNode工作机制以及数据存储 DataNode工作机制 1）一个数据块在datanode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。 2）DataNode启动后向namenode注册，通过后，周期性（1小时）的向namenode上报所有的块信息。 3）心跳是每3秒一次，心跳返回结果带有namenode给该datanode的命令如复制块数据到另一台机器，或删除某个数据块。如果超过10分钟没有收到某个datanode的心跳，则认为该节点不可用。 4）集群运行中可以安全加入和退出一些机器 数据完整性
HDFS文件的查看
05-21
hdfs文件的查看 hdfs fs -cat /文件名
hdfs统计某个目录下的文件数
热门推荐
春华秋实
09-16 4万+
hadoop fs -count 统计hdfs对应路径下的目录个数，文件个数，文件总计大小 显示为目录个数，文件个数，文件总计大小，输入路径 例如： hadoop fs -count /data/dltb3yi/  1        24000       253953854502 /data/dltb3yi/      获得24000个文件
hdfs查看目录文件的大小 hdfs dfs -du -s -h /
Aying_seeyou的博客
11-23 2万+
1.hdfs dfs -du -h 查看各级文件大小 会出现两列数字，第一列为单个文件实际大小，第二列为备份大小。 2.hdfs dfs -ls -h 也可以查看文件大小 但是当子文件目录过多时 统计的大小为0 3.命令 hdfs dfs -du -s -h /user/hive/warehouse/ 结果 97.1 G 291.3 G /user/hive/warehouse 第一列标示该目录下总文件大小 第二列标示该目录下所有文件在集群上的总存储大小和你的副本数相关，我的副本数是3 ，所以第二列的
笔记：hadoop的shell命令
qq_44871767的博客
05-30 175
-ls 使用方法：hadoop fs -ls [-h] [-R] 功能：显示文件、目录信息。 示例：hadoop fs -ls /user/hadoop/file1 -mkdir 使用方法：hadoop fs -mkdir [-p] 功能：在hdfs上创建目录，-p表示会创建路径中的各级父目录。 示例：hadoop fs -mkdir –p /user/hadoop/dir1 -put 使用方法：hadoop fs -put [-f] [-p] [ -| … ]. 功能：将单个src或多个srcs..
HDFS 常用命令整理
Smart_bat的博客
06-10 4331
2. 创建文件\文件夹 3. 复制/移动 文件/文件夹 4. 本机文件上传到hdfs 5.本地下载hdfs上的文件 6.查看hdfs上文件的内容 7.hdfs 文件/文件夹 权限设置 8. hdfs 文件/文件夹的删除 二.常用操作 1. hdfs 基本还会涉及到一些换件的配置的总结 : 简单记录下,方便以后查看.........
命令查询hdfs目录下文件总和
海鸥~
06-18 7101
一、可以计算出ccc文件下有多少个文件夹 hadoop fs -ls /aaa/bbb/ccc/* |grep "^d"|wc -l 二、可以统计出HDFS文件数量大小 hadoop fs -count / 三、可以统计出HDFS文件大小 hadoop fs -du -h / 1.7G 是一台服务器所占用磁盘 5.2G 是因为用三台服务器做的落盘 所以1.7*3 /aaa/bbb/ccc 是hdfs地址 ...
HDFS Shell操作详解：语法、实例与推荐工具
这部分内容对于理解和实践HDFS的shell操作至关重要，它可以帮助读者掌握如何在Hadoop集群环境中高效地管理和维护分布式文件。 总结来说，本文是一篇实用的教程，旨在帮助Hadoop开发者和管理员熟悉HDFS的shell客户端...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值