4.3 HDFS的shell操作

已于 2022-11-24 21:03:33 修改
阅读量562 收藏
点赞数
文章标签： 大数据 hdfs hadoop
于 2022-11-24 21:03:18 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_66293661/article/details/128024627
版权

接上节

11.创建时间戳文件

在 /ied01目录里创建一个文件 sunshine.txt，

执行命令：hdfs dfs -touchz /ied01/sunshine.txt

 在这里查看刚才创建的文件，是一个空文件

这种空文件，叫做时间戳文件，再次在  /ied01目录下创建sunshine.txt同名文件

12.复制文件或目录

1.同名复制文件

将 /ied01/music.txt 复制到/ied02里，执行命令：hdfs dfs -cp /ied01/music.txt /ied02

 查看复制过去的文件

2.改名复制的文件

将 /ied01/exam.txt 复制到 /ied02 目录，改名为 read.txt

最低0.47元/天 解锁文章
偏心你401
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
hadoop集群format后，hadoop fs -ls /结果为空的分析过程
rock718love的博客
05-07 2125
首先集群已经是使用过hive一段时间，然后手欠给format了，集群启动后执行hadoop fs -ls /发现结果为空，但是在hive中又能查到库的信息，如图： 可以看到hive中的配置信息中并没有指定warehouse的路径，所以为默认，如图： 此时再hive中随便创建名为的aaa的数据库 然后尝试删除之前的test库时报错： 结合上述截图，说明hive中显示的只是之前的元数据信息，本...
文件写入HDFS之后没有文件显示
qq_41605695的博客
03-10 1898
Java demo写文件到HDFS，写完之后指定目录下没有对应的文件显示。 问题： 没有进行文件存储路径的存在性判断，创建的操作 解决： Configuration conf = new Configuration(); FileSystem fileSystem = FileSystem.get(conf); Path pathDst = new Path(hdfsPath); //判断路径存在...
Hadoop查看文件个数&文件大小&文件夹大小
practice
04-09 8220
一、表中文件个数： hdfs dfs -du -h /user/hive/warehouse/ods.db/test_01 | wc -l 二、 显示前5行（如果文件个数是200个会刷屏） hdfs dfs -du -h /user/hive/warehouse/ods.db/test_01 | sed -n 1,5p 三、查看总文件夹大小 hdfs dfs -du -h -s /user/warehouse/ods.db/test_01 ...
HDFS基本命令
Helen_1997_1997的博客
02-07 6693
HDFS基本命令
统计HDFS文件数量,大小,以及在某范围大小的文件数量
mega-victor
11-14 1万+
统计HDFS文件数量大小，小于20M文件数量 hadoop fs -du -h / # 统计文件大小 hadoop fs -count / # 统计文件数量，返回的数据是目录个数，文件个数，文件总计大小，输入路径 hadoop fs -ls -R /path/data | grep ^- > ~/data.txt #统计所有文件的信息，过滤文件夹,只统计文件.因为使用ls -l 之后,可以看到文
实验3 - HDFS的管理和使用
weixin_43657927的博客
01-09 2347
hadoop
hadoop 查看文件大小以及文件数
web18536564348的博客
08-17 3354
hadoop fs -du-h 文件路径。2.查看当前目录文件下每个文件大小。1.查看当前目录文件总大小。
hdfs源码.zip
07-14
5．1．4 HDFS文件与操作方法 451 5．1．5 HDFS文件读写方法 452 5．2 文件读操作与输入流 452 5．2．1 打开文件 452 5．2．2 读操作――DFSInputStream实现 461 5．3 文件短路读操作 481 5．3．1 短路读共享内存 482...
第4章 HDFS 2 4.1. 简介 2 4.1.1. 概述 2 4.1.2. 组成架构 4 4.1.3. HDFS文件块大小
05-21
4.2. HDFS的shell操作 6 4.2.1. 基本语法 7 4.2.2. 参数大全 8 4.2.3. 常用命令实操 9 4.3. 通过Java实现HDFS操作及访问 14 4.3.1. IntelliJ IDEA 16 4.3.2. maven软件安装与配置 17 4.3.3. IDEA关联maven插件 19 ...
计算机生产实习报告.完整项目.doc
10-08
* Linux 操作系统根本命令 * 系统管理 * 权限管理 * 软件安装 * Shell 脚本编写 3.3 Java 核心编程 * 数据类型 * 流程控制语句 * 面向对象 * IO 3.4 Hadoop 分布式文件系统 HDFS * HDFS 概述 * HDFS 在大数据...
大数据-HDFS（七）
01-07
大数据-HDFS（七） DataNode工作机制以及数据存储 DataNode工作机制 1）一个数据块在datanode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。 2）DataNode启动后向namenode注册，通过后，周期性（1小时）的向namenode上报所有的块信息。 3）心跳是每3秒一次，心跳返回结果带有namenode给该datanode的命令如复制块数据到另一台机器，或删除某个数据块。如果超过10分钟没有收到某个datanode的心跳，则认为该节点不可用。 4）集群运行中可以安全加入和退出一些机器 数据完整性
HDFS文件的查看
05-21
hdfs文件的查看 hdfs fs -cat /文件名
HBase集群环境搭建
06-15
HBase集群环境搭建 ...启动HBase集群后，可以使用HBase的shell工具来查看服务的状态。 通过上述步骤，我们已经成功搭建了HBase集群环境。该环境将提供高可用的HBase服务，以满足大数据技术的需求。
hadoop2.2.0部署
06-29
3.1 hdfs和yarn单机安装 17 3.1.1 配置主机和防火墙 17 3.2 hadoop基本shell命令 19 3.3 简单JAVA实例 20 4 伪分布式部署spark 20 4.1 下载spark 20 4.2 解压安装 20 4.3 安装scala. 20 4.4 配置spark的启动参数 21 ...
hdfs统计某个目录下的文件数
热门推荐
春华秋实
09-16 4万+
hadoop fs -count 统计hdfs对应路径下的目录个数，文件个数，文件总计大小 显示为目录个数，文件个数，文件总计大小，输入路径 例如： hadoop fs -count /data/dltb3yi/  1        24000       253953854502 /data/dltb3yi/      获得24000个文件
hdfs查看目录文件的大小 hdfs dfs -du -s -h /
Aying_seeyou的博客
11-23 2万+
1.hdfs dfs -du -h 查看各级文件大小 会出现两列数字，第一列为单个文件实际大小，第二列为备份大小。 2.hdfs dfs -ls -h 也可以查看文件大小 但是当子文件目录过多时 统计的大小为0 3.命令 hdfs dfs -du -s -h /user/hive/warehouse/ 结果 97.1 G 291.3 G /user/hive/warehouse 第一列标示该目录下总文件大小 第二列标示该目录下所有文件在集群上的总存储大小和你的副本数相关，我的副本数是3 ，所以第二列的
笔记：hadoop的shell命令
qq_44871767的博客
05-30 140
-ls 使用方法：hadoop fs -ls [-h] [-R] 功能：显示文件、目录信息。 示例：hadoop fs -ls /user/hadoop/file1 -mkdir 使用方法：hadoop fs -mkdir [-p] 功能：在hdfs上创建目录，-p表示会创建路径中的各级父目录。 示例：hadoop fs -mkdir –p /user/hadoop/dir1 -put 使用方法：hadoop fs -put [-f] [-p] [ -| … ]. 功能：将单个src或多个srcs..
HDFS 常用命令整理
Smart_bat的博客
06-10 4142
2. 创建文件\文件夹 3. 复制/移动 文件/文件夹 4. 本机文件上传到hdfs 5.本地下载hdfs上的文件 6.查看hdfs上文件的内容 7.hdfs 文件/文件夹 权限设置 8. hdfs 文件/文件夹的删除 二.常用操作 1. hdfs 基本还会涉及到一些换件的配置的总结 : 简单记录下,方便以后查看.........
大数据讲课笔记4.3 HDFS的Shell操作
howard2005的专栏
10-05 1668
1. 熟悉HDFS Shell常用命令操作； 2. 掌握Shell定时采集数据到HDFS
hdfs shell操作
最新发布
06-28
以下是HDFS Shell常用的一些操作： 1. 列出目录中的文件和子目录：`hdfs dfs -ls <目录路径>` 2. 创建目录：`hdfs dfs -mkdir <目录路径>` 3. 删除目录：`hdfs dfs -rm -r <目录路径>` 4. 上传本地文件到HDFS：`...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值