Hadoop 文件部分命令(文件行数)

最新推荐文章于 2024-07-21 21:36:24 发布
最新推荐文章于 2024-07-21 21:36:24 发布
阅读量2.5k 收藏 3
点赞数
分类专栏： java 文章标签： java 后端
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_67402914/article/details/123933830
版权

1.hdfs下载文件夹中多个文件

hadoop fs -get  /目录   目录

结果是输出到本地的文件夹之中

2.多个文件合并后输出到一个文件之中

hadoop fs -getmerge  filePath  localPath/data.dat

3.统计多个文件行数

hadoop fs -cat  /文件* | wc -l

hadoop fs -cat /datastream/portal/jinritoutiao/video/2018-08-11/portal_jinritoutiao_video_20180811*|wc -l  
查看该目录下所有文件名包含portal_jinritoutiao_video_20180811的行数

4.统计文件大小

hadoop fs -count /文件*
用户昵称23
关注
专栏目录
Hadoop 文件操作常用的命令
Neo_Lee的博客
03-15 8761
hdfs fsck / -files -blocks  列出文件系统中各个文件由哪些块组成 hadoop fs -ls .             列出hdfs文件的所有文件，不递归目录hadoop  fs -lsr / hadoop  fs -ls -R /  (规范写法)  递归查看指定目录下的所有内容 hadoop  fs -cp /dir01/1.txt  /dir02  将HDFS上 /...
hadoop命令行操作
孤独的博客
08-03 551
hadoop命令行操作 Usage: hadoop fs [generic options] [-appendToFile <localsrc> ... <dst>] [-cat [-ignoreCrc] <src> ...] [-checksum <src> ...] [-chgrp...
hadoop word count 单词统计
07-25
hadoop 入门程序 word count 完整代码, 可以处理hdfs文件和windows本地文件. 下载之后, 导入到IDEA, 修改pom.xml文件的jar包版本和hadoop集群版本一致,core-site.xml 配置和集群 etc/hadoop/core-site.xml一致. windows 本地hadoop开发环境配置所需文件, 请下载另一个资源
统计HDFS中文件数量、大小、以及在某范围大小的文件数量
最新发布
十八闲客的博客,专注于大数据运维
07-21 460
使用：hdfs dfs -ls -R / |grep ^-数据保存在 data.txt 文件中；
Hadoop查看文件个数&文件大小&文件夹大小
practice
04-09 8384
一、表中文件个数： hdfs dfs -du -h /user/hive/warehouse/ods.db/test_01 | wc -l 二、 显示前5行（如果文件个数是200个会刷屏） hdfs dfs -du -h /user/hive/warehouse/ods.db/test_01 | sed -n 1,5p 三、查看总文件夹大小 hdfs dfs -du -h -s /user/warehouse/ods.db/test_01 ...
hadoop统计文件行数
iphone4grf的博客
06-08 6948
hadoop统计文件行数，特定字符串个数等。
Java，Scala - 使用代码统计hadoop中hdfs的文件大小以及文件夹大小
慢慢来
07-03 5715
文章目录一些配置和前提说明hadoop的一些说明代码的一些说明pom.xml获取行数使用FileSystem获取文件行数使用spark获取hdfs 文件的条数获取大小第一种解决办法：使用getBytes()第二种解决办法：使用listStatus()简单的情况比较麻烦的情况第三种解决办法：使用getContentSummary()额外说点hadoop fs -dus             &nb
用Python计算大文件行数方法及性能比较
Python编程学习的博客
06-29 838
如何使用Python快速高效地统计出大文件的总行数, 下面是一些实现方法和性能的比较。
高级软件人才培训专家-Hadoop课程资料-2-Linux基础命令
03-10
2. **wc**: 统计文件的行数、单词数和字节数。 - `wc 文件名`: 显示文件的基本统计信息。 3. **管道符 |**: 连接两个命令，将前一个命令的输出作为后一个命令的输入。 - `ls | grep "模式"`: 先列出所有文件，然后...
dfs hdfs 修改文件名称_第五讲：hadoop的分布式存储HDFS常见操作
weixin_28902341的博客
12-24 1650
HDFS 是一个分布式文件系统， 像任何其它文件系统， 允许用户使用 shell 命令操作文件系统。首先启动hdfs，启动方式可见上一个博文，或者单独启动hdfs，方式就是运行 start-dfs.sh启动成功后，输入jps可以看到至少一个namenode和至少一个datanode 和一个jps一、创建路径 mkdir如果你的 HDFS home 目录不存在，则需要创建，我们后续都是用hdfs命令...
Hadoop指令-周美婷
qq_65398011的博客
03-12 3968
基础指令语法 1、ls指令含义：ls（list） 用法1：#ls含义：列出当前工作目录下的所有文件/文件夹的名称用法 用法2：#ls路径含义：列出指定路径下的所有文件/文件夹的名称关于路径（重要）：路径可以分为两种：相对路径、绝对路径。相对路径：相对首先得有一个参照物（一般就是当前的工作路径）；相对路径的写法：在相对路径中通常会用到2个符号“./”【表示当前目录下】、“../”【上一级目录下】。绝对路径：绝对路径不需要参照物，直接从根“/”开始寻找对应路径； 2、pwd指令用法：#pwd （pri
hadoop 单词个数及所处文件位置统计
vellerzheng的博客
05-22 1007
一、题目描述         输入若干个文件，得到所有文件中某单词的所在文件名，单词在文档中出现的次数和具体的位置信息 例如，输入文件如下： 1.txt: it iswhat it is what isit it is abanana 2.txt: i is whathe is haoop isit it he abanana 3.txt: hadoop iswhat he
hadoop 文本统计一个字符的个数_hdfs、linux统计行数和统计文件大小
weixin_42103128的博客
01-27 844
hdfs统计文件行数使用hdfs有时候需要统计文件行数和文件的大小1.hdfs下载文件夹中多个文件hadoop fs -get /目录 目录2.统计多个文件行数hadoop fs -cat /文件* | wc -l3.统计文件大小hadoop fs -count /文件*统计单个文件 只需要精确到文件即可linux统计文件行数语法：wc [选项] 文件…说明：该命令统计给定文件中的字节数...
hadoop 统计输入的行数的MAP
weixin_34067102的博客
08-18 218
2019独角兽企业重金招聘Python工程师标准>>> ...
Hadoop 统计日志文件小案例
ydcun知识点积累
04-16 1465
随着互联网的发展，移动终端设备的普及，用户数据的达到了一个爆炸式的增长，简单的awk命令对日志等信息的分析已经很难完成我们的需要了，需要用到hadoop等大型分布式处理能力的环境。本文通过show.log文件进行小例子演示：
Spark访问Linux本地文件，计算文件行数报错：org.apache.hadoop.fs.ChecksumException: Checksum error
集腋成裘，聚沙成塔
12-31 521
在通过Spark访问Linux本地文件，计算文件行数的时候报了org.apache.hadoop.fs.ChecksumException: Checksum error 错误，网上看到一篇文章，我暂时看不太明白。大家要解决 Checksum error 这个问题的话把 crc文件给删了就行。（问题解决了，记得点赞哟） ...
HDFS查看文件的前几行-后几行-行数
weixin_43087913的博客
06-11 2060
随机返回指定行数的样本数据 hadoop fs -cat /test/gonganbu/scene_analysis_suggestion/* | shuf -n 5 返回前几行的样本数据 hadoop fs -cat /test/gonganbu/scene_analysis_suggestion/* | head -100 返回最后几行的样本数据 hadoop fs -cat /test/gonganbu/scene_analysis_suggestion/* | tail
ubuntubu hadoop创建文件夹
06-13
在Ubuntu上设置Hadoop集群时，创建文件夹通常是为了存放Hadoop相关的数据和配置。Hadoop主要使用两个目录：HDFS（Hadoop Distributed File System）的数据存储目录和MapReduce的临时目录。以下是创建这两个常见文件夹的基本步骤： 1. HDFS的目录： - **/hadoop/data**: 这是HDFS的默认数据存储目录。你可以创建一个`data`子目录，例如`/hadoop/data/namenode`用于存储NameNode元数据，`/hadoop/data/namenode/dfs-data`用于存储实际的数据块。 创建命令（假设已安装Hadoop）： ```bash sudo mkdir -p /hadoop/data/namenode sudo chown -R hadoop:hadoop /hadoop/data ``` 2. MapReduce的目录： - **/tmp**: 通常Hadoop会在`/tmp`目录下创建一个名为`mapred/local`的子目录用于存储本地任务的工作目录。 - **/hadoop/mapreduce/history**: 存放JobHistory Server的日志和状态信息。 创建命令： ```bash sudo mkdir -p /hadoop/mapreduce/history ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值