HDFS常用命令

最新推荐文章于 2022-05-26 21:33:00 发布
最新推荐文章于 2022-05-26 21:33:00 发布
阅读量659 收藏
点赞数
分类专栏： Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Zhang_Fei_/article/details/102642580
版权

以下的命令演示都以hive表的parquet文件为例：

查看文件中损坏的文件

hdfs fsck /user/hive/warehouse/库名.db/表名/ -list-corruptfileblocks

忽略大小写按照名称查找 （模糊匹配查询）

hdfs dfs -find /user/hive/warehouse/ -iname "查找的内容前面匹配部分*.parquet"

 

 

Zhang_Fei_
关注
专栏目录
统计HDFS路径上文件大小、查看文件内容、匹配特定文件内容、根据多个条件匹配文件
zhengzaifeidelushang的博客
11-23 1673
统计HDFS路径上文件大小、查看文件内容、匹配特定文件内容、根据多个条件匹配文件
Hadoop -- hdfs dfs命令详解
小小良
07-31 1972
hdfsdfs命令 1、appendToFile ## 追加一个或者多个文件到hdfs制定文件中.也可以从命令行读取输入. Usage:hdfsdfs-appendToFile<localsrc>...<dst> ·hdfsdfs-appendToFilelocalfile/user/hadoop/hadoopfile ·hdfsdfs...
hdfs命令大全
weixin_30887919的博客
09-28 1930
hdfs常用命令：第一部分：hdfs文件系统命令第一类：文件路径增删改查系列：hdfs dfs -mkdir dir 创建文件夹hdfs dfs -rmr dir 删除文件夹dirhdfs dfs -ls 查看目录文件信息hdfs dfs -lsr 递归查看文件目录信息hdfs dfs -stat path 返回指定路径的信息第二类：空间大小查看系列命令：hdfs dfs -du -h ...
Hadoop—— 3.hdfs dfs命令
blueicex2017的博客
02-10 1002
text 将源文件输出为文本格式。允许的格式是zip和TextRecordInputStream。 hadoop fs -text test hadoop fs -test -[ezd] -e 检查文件是否存在。如果存在则返回0。 -z 检查文件是否是0字节。如果是则返回0。 -d 如果路径是个目录，则返回1，否则返回0。 rmr 递归删除 hadoop fs -rmr put 将本地文件上...
hdfs dfs //查看所有命令
Deng872347348的博客
12-08 1840
hdfs dfs //查看所有命令 hdfs dfs -help ls //查阅帮助 hdfs dfs -usage ls //查看命令格式 hdfs dfs -ls//列出目录和文件 hdfs dfs -mkdir//创建文件夹 hdfs dfs -cat/text//查看文件内容 hdfs dfs -touchz//新建文件 hdfs dfs -appendToFile//追加文件 hdfs dfs -put/get//上传/下载文件 hdfs dfs -rm//删除文件 ...
HDFS命令与API
weekeight
05-26 1125
HDFS命令与API
Hadoop-HDFS常用命令
最新发布
08-22
Hadoop-HDFS常用命令
大数据技术基础实验报告-HDFS常用操作命令.doc
08-21
本实验报告主要关注HDFS的常用操作命令，这些命令是管理员和数据分析师日常工作中不可或缺的工具。 实验开始时，通过执行`start-dfs.sh`命令启动HDFS服务。这是在Hadoop集群中启动所有DataNode和NameNode节点的关键...
Hdfs常用命令
weixin_43847389的博客
11-04 1469
查看文件常用命令 命令格式 1.hdfs dfs -ls path 查看文件列表 2.hdfs dfs -lsr path 递归查看文件列表 3.hdfs dfs -du path 查看path下的磁盘情况，单位字节 使用示例 1.hdfs dfs -ls / 查看当前目录 2.hdfs dfs - lsr / 递归查看当前目录 创建文件夹 命令格式 hdfs dfs -mkdir path 使用用例 ...
大数据概念复习-HDFS（第一天）
weixin_43457037的博客
03-08 212
block大小的影响 HDFS中块的大小默认是128M，也可以根据节点的磁盘传输速率进行设置，通过设置dfs.blocksize来实现； 如果设置过大，则可能数据都存在一个节点上，在处理数据时，没法提现出分布式的特点，因为任务只在存有数据的这一个节点上执行，并且处理数据的时间也会变长； 如果设置过小，会占用namenode中的内存，并且寻址时间也会增加。 如何计算出128M HDFS的寻址时间一般...
HDFS常用shell命令
景山编程-顺道编程
08-31 469
HDFS 文件操作命令 注，其实常用命令不用网上搜，和linux下的命令很类似，触类旁通，直接在linux 上 hadoop fs 看一下就行了，不需要刻意去记 我把 linux 上的 help 列举下，方便直接看吧，hdfs dfs 与 hadoop fs 效果一样 常用的就是 hdfs dfs -copyFromLocal /local/data /hdfs/data：将本地文件上传到...
HDFS常用的文件操作命令
火麒马
12-31 1267
HDFS常用的文件操作命令 文件操作 查看文件命令 ls 命令 # 查看hdfs根目录 hdfs dfs -ls / # 查看hdfs其它目录(/user/zhang) hdfs dfs -ls /user/zhang du 命令 hdfs dfs -du /user/zhang 查看里面文件大小(# 将字节自动转化成单位) hdfs dfs -du -h /user/...
大数据：Hadoop文件操作HDFS常用命令（一）
热门推荐
Zhang Phil
08-09 2万+
大数据：Hadoop文件操作HDFS常用命令（一） 1、创建目录。在HDFS中创建一个文件目录： hadoop dfs -mkdir 2、查看文件结构目录： hdfs dfs -ls -R / 例如，在HDFS中创建一个test_dir的文件目录，然后查看： 如果查看具体某一个文件目录下的文件层次，则为： hadoop fs -ls /mydir myd...
[1129]HDFS查看文件的两种方式
周小董
04-21 1万+
文章目录1.localhost：50070 图形化界面 离线查看2.通过命令行终端实现在线查看文件内容 1.localhost：50070 图形化界面 离线查看 可以查看hdfs文件目录的结构，副本数，block大小，文件的大小，但是不能查看文件的内容，要是查看文件的内容的话，得把文件给下载下来 2.通过命令行终端实现在线查看文件内容 [root@cdp101 bin]# hdfs dfs -ls Found 5 items drwx------ - hive hive 0 202
HDFS——查询文件系统详解
我是一名程序猿
07-23 1380
1. 文件元数据：FileStatus 任何文件系统的一个重要特征都是提供其目录结构浏览和检索它所存文件和目录相关信息的功能。FileStatus类封装了文件系统中文件和目录的元数据，包括文件长度、块大小、复本、修改时间、所有者、权限信息。 FileStatus的getFileStatus()方法用于获取文件或目录的FileStatus对象。看下面： 范例1，展示文件状态信息 publi...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Zhang_Fei_

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值