HDFS查看文件的前几行-后几行-行数

最新推荐文章于 2024-04-23 16:52:13 发布
最新推荐文章于 2024-04-23 16:52:13 发布
阅读量1.9k 收藏 8
点赞数
分类专栏： hadoop obs 文章标签： hadoop
原文链接：https://blog.csdn.net/github_38358734/article/details/79272521
版权

随机返回指定行数的样本数据

hadoop fs -cat /test/gonganbu/scene_analysis_suggestion/* | shuf -n 5


返回前几行的样本数据

hadoop fs -cat /test/gonganbu/scene_analysis_suggestion/* | head -100


返回最后几行的样本数据

hadoop fs -cat /test/gonganbu/scene_analysis_suggestion/* | tail -5


查看文本行数

hadoop fs -cat hdfs://172.16.0.226:8020/test/sys_dict/sysdict_case_type.csv |wc -l


查看文件大小(单位byte)
 

hadoop fs -du hdfs://172.16.0.226:8020/test/sys_dict/*

hadoop fs -count hdfs://172.16.0.226:8020/test/sys_dict/*

 

瑾明达2号
关注
  • 0
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
hadoop上传文件共5页.pdf.zip
11-21
hadoop上传文件共5页.pdf.zip
Hadoop学习笔记（三）HDFS的常用命令
1853
07-19 3284
HDFS学习笔记 hdfs基本命令 ls hdfs dfs -ls / ls -R hdfs dfs -ls -R / mkdir hdfs dfs -mkdir -p /hao/ok put hdfs dfs -put /root/a.txt /dir1 moveFromLocal hdfs dfs -moveFromLocal /root/hao.txt / get hdfs dfs -get /dir2/dir22/a.txt ./ mv hdfs dfs -mv /dir1/a.txt
HDFS 常用命令
热门推荐
桃李不言下自成蹊
07-07 7万+
这些命令可以在 Hadoop 集群的命令行界面上执行，用于管理和操作 HDFS 中的文件和目录。可以通过在命令后添加。以下命令中的 hadoop fs 在高版本的 Hadoop 中 可以使用 hdfs dfs 替换。选项来获取每个命令的详细用法和选项。
命令 使用
JackLi31742的博客
05-30 946
hdfs常用命令： 上传： hadoop fs -put wp.txt /user 添加文件到hdfs上已经有的文件： hadoop fs -appendToFile a.txt /user/wp.txt hdfs删除文件： hadoop fs -rm -r 路径 查看hadoop 状态 hadoop dfsadmin -report 磁盘写满： http://qindongl...
HDFS文件上传与下载
weixin_51551506的博客
11-02 7007
运行后显示如下，此时Desktop/logs/目录下的log文件已经上传到HDFS的/log1目录中。运行后显示如下，此时Desktop/logs/目录下的log文件已经上传到HDFS的/log2目录中。运行后显示如下，在/home/dolphin/Desktop/logs目录下有一个log文件。此时，已经将HDFS的/log1/目录下的文件，下载到本地家目录下。运行后显示如下，发现HDFS的/log1目录下存在刚才上传的文件。运行后显示如下，发现HDFS的/log2目录下存在刚才上传的文件。
hadoop 文件操作（未完待续）
BiuFEIMIR的博客
03-31 884
1. 查看文件大小 hadoop fs -du -h /user/filename -h 没有则按照byte显示，否则按照G 2. 查看文件行数 hadoop fs -cat /文件* | wc -l hadoop fs -cat /datastream/portal/jinritoutiao/video/2018-08-11/portal_jinritoutiao_video_20180811*|wc -l 查看该目录下所有文件名包含portal_jinritoutiao_video
Hadoop命令总结
小强签名设计 的博客
08-20 2882
文章目录一、hadoop fs命令二、yarn相关命令 一、hadoop fs命令 查看文件内容，配合more：hadoop fs -cat /in/hadoop-hadoop-namenode-h71.log | more 统计hdfs中文件的行数：hadoop fs -cat /in/hadoop-hadoop-namenode-h71.log | wc -l 输出：16509 查看hdfs中文件的前n行：hadoop fs -text file | head -n 100 查看hdfs中文件的后n行
Hadoop 常用查看文件的命令
qq_34905853的博客
07-03 1万+
随机返回指定行数的样本数据 hadoop fs -cat /test/gonganbu/scene_analysis_suggestion/* | shuf -n 5返回前几行的样本数据 hadoop fs -cat /test/gonganbu/scene_analysis_suggestion/* | head -100返回最后几行的样本数据 hadoop fs -cat /test/gong...
HDFS查看文件的前几行-后几行-随机几行-行数-指定的行
fuyun6363的博客
01-24 7598
今天想查看HDFS上文件的后30行，发现HDFS命令的tail参数后不能指定行数，只能跟文件，默认后10行 $ cd /opt/cdh-5.7.6/hadoop-2.6.0-cdh5.7.6/ $ bin/hdfs dfs -tail -30 /datas/access_log -tail: Illegal option -30 Usage: hadoop fs [generic options]...
10、HDFS小文件解决方案-Archive
05-29
10、HDFS小文件解决方案--Archive 网址：https://blog.csdn.net/chenwewi520feng/article/details/130348069 本文介绍hdfs在使用过程中产生小文件的处理方式。 本文使用Archive来合并hdfs的小文件。 本文分为2个部分...
hdfs-over-ftp安装包及说明
12-08
hdfs-over-ftp安装包及说明
HDFS配置文件hdfs-site
05-31
HDFS测试环境配置文件，稳定运行无异常，分享给大家学习参考用；
Hadoop 3.x（HDFS）----【HDFS 的 API 操作】---- 代码
09-10
Hadoop 3.x（HDFS）----【HDFS 的 API 操作】---- 代码 Hadoop 3.x（HDFS）----【HDFS 的 API 操作】---- 代码 Hadoop 3.x（HDFS）----【HDFS 的 API 操作】---- 代码 Hadoop 3.x（HDFS）----【HDFS 的 API 操作】--...
hdfs-over-ftp-hadoop-0.20.0.rar_ftp_ftpoverhdfs_hdfs文件传入ftp_java
09-14
在hadoop分布式文件系统上实现ftp 服务
【Hadoop】-HDFS的存储原理[4]
weixin_63106307的博客
04-20 1357
HDFS的存储原理是将大文件切分成固定大小的数据块，并在集群中的不同节点上存储数据块的，以提高数据的可靠性和性能。同时，HDFS采用流式的数据读写方式，减少了寻址的开销，提高了数据的传输效率。
【Hadoop】-Hive部署[12]
最新发布
weixin_63106307的博客
04-23 1138
Hive ThriftServer方式（不可直接写SQL，需要外部客户端链接使用）： bin/hive --service hiveserver2。后台启动：nohup bin/hive --service metastore >> logs/metastore.log 2>&1 &后台启动：nohup bin/hive --service metastore >> logs/metastore.log 2>&1 &支持，Hive的配置已经完成，现在在启动Hive前，需要先初始化Hive所需的元数据库。
前期Hadoop学习总结
2301_77836489的博客
04-23 1152
前期Hadoop学习总结
Docker容器搭建Hadoop集群(hadoop-3.1.3)
2202_75688394的博客
04-20 905
Docker容器环境下搭建Hadoop集群（完全分布式） hadoop版本为hadoop-3.1.3
hdfs修改文件权限rw------- 怎么操作
03-28
要修改HDFS中文件的权限为rw--，可以使用以下命令操作： 1. 使用hadoop fs -chmod命令来修改文件权限。该命令用于更改文件或目录的权限。 例如，要将文件file.txt的权限设置为rw-------，可以运行以下命令： ``` ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值