HDFS查看文件的前几行-后几行-随机几行-行数-指定的行

最新推荐文章于 2024-07-21 21:36:24 发布
最新推荐文章于 2024-07-21 21:36:24 发布
阅读量8k 收藏 22
点赞数 6
分类专栏： # Hadoop 大数据相关 文章标签： hdfs 查看文件
版权所有，转载请注明原文链接。 文中有不妥或者错误的地方还望指出，以免误人子弟。如果觉得本文对你有所帮助不妨【推荐】一下！如果你有更好的建议，可以给我留言讨论，共同进步！ 再次感谢您耐心的读完本篇文章。
本文链接：https://blog.csdn.net/lz6363/article/details/86624560
版权

目录

今天想查看HDFS上文件的后30行，发现HDFS命令的tail参数后不能指定行数，只能跟文件，默认后10行

$ cd /opt/cdh-5.7.6/hadoop-2.6.0-cdh5.7.6/
$ bin/hdfs dfs -tail -30 /datas/access_log
-tail: Illegal option -30
Usage: hadoop fs [generic options] -tail [-f] <file>

那怎么去实现呢，其实有一个强大的管道符，可以通过它实现我们需要的功能

管道符大概是意思是将前面输出的结果作为后面的输入

这样我们可以通过将-cat命令的输出通过管道传递给shell中的more、head、tail、wc等命令来实现我们shell中能实现而HDFS不能实现的功能

查看下HDFS文件的行数

$ bin/hdfs dfs -cat /datas/access_log | wc -l
1546

顺便再复习下shell中wc命令的用法

Linux系统中的wc(Word Count)命令的功能为统计指定文件中的行数、字数、字节数，并将统计结果显示输出。

1．命令格式：

wc [选项] 文件…

2．命令功能：

统计指定文件中的行数、字数、字节数，并将统计结果显示输出。该命令统计指定文件中的行数、字数、字节数。如果没有给出文件名，则从标准输入读取。wc同时也给出所指定文件的总统计数。

3．命令参数：

-c 统计字节数。

-l 统计行数。

-m 统计字符数。

-w 统计字数。一个字被定义为由空白、跳格或换行字符分隔的字符串。

-L 打印最长行的长度。

–help 显示帮助信息

–version 显示版本信息

$ bin/hdfs dfs -cat /datas/access_log | wc
   1546   15458  174449

bin/hdfs dfs -cat /datas/access_log | wc -c
174449

$ bin/hdfs dfs -cat /datas/access_log | wc -l
1546

$ bin/hdfs dfs -cat /datas/access_log | wc -l -c
   1546  174449

$ bin/hdfs dfs -cat /datas/access_log | wc -l -m
   1546  174449

$ bin/hdfs dfs -cat /datas/access_log | wc -c -m
 174449  174449
 
$ bin/hdfs dfs -cat /datas/access_log | wc -w -m
  15458  174449

$ bin/hdfs dfs -cat /datas/access_log | wc -l -L
   1546     193

$ wc --help
Usage: wc [OPTION]... [FILE]...
  or:  wc [OPTION]... --files0-from=F
Print newline, word, and byte counts for each FILE, and a total line if
more than one FILE is specified.  With no FILE, or when FILE is -,
read standard input.
  -c, --bytes            print the byte counts
  -m, --chars            print the character counts
  -l, --lines            print the newline counts
      --files0-from=F    read input from the files specified by
                           NUL-terminated names in file F;
                           If F is - then read names from standard input
  -L, --max-line-length  print the length of the longest line
  -w, --words            print the word counts
      --help     display this help and exit
      --version  output version information and exit

Report wc bugs to bug-coreutils@gnu.org
GNU coreutils home page: <http://www.gnu.org/software/coreutils/>
General help using GNU software: <http://www.gnu.org/gethelp/>
For complete documentation, run: info coreutils 'wc invocation'

$ wc --version
wc (GNU coreutils) 8.4
Copyright (C) 2010 Free Software Foundation, Inc.
License GPLv3+: GNU GPL version 3 or later <http://gnu.org/licenses/gpl.html>.
This is free software: you are free to change and redistribute it.
There is NO WARRANTY, to the extent permitted by law.

Written by Paul Rubin and David MacKenzie.

查看HDFS文件的后30行

$ bin/hdfs dfs -cat /datas/access_log | tail -30
ns.wtbts.org - - [12/Mar/2004:11:16:56 -0800] "GET /dccstats/stats-spam-ratio.1year.png HTTP/1.0" 200 1853
ns.wtbts.org - - [12/Mar/2004:11:16:56 -0800] "GET /dccstats/stats-hashes.1year.png HTTP/1.0" 200 1572
67.131.107.5 - - [12/Mar/2004:11:39:14 -0800] "GET / HTTP/1.1" 200 3169
67.131.107.5 - - [12/Mar/2004:11:39:25 -0800] "GET /twiki/bin/view/Main/WebHome HTTP/1.1" 200 10419
67.131.107.5 - - [12/Mar/2004:11:39:31 -0800] "GET /twiki/pub/TWiki/TWikiLogos/twikiRobot46x50.gif HTTP/1.1" 200 2877
10.0.0.153 - - [12/Mar/2004:12:23:11 -0800] "GET / HTTP/1.1" 304 -
10.0.0.153 - - [12/Mar/2004:12:23:17 -0800] "GET /cgi-bin/mailgraph2.cgi HTTP/1.1" 200 2987
10.0.0.153 - - [12/Mar/2004:12:23:18 -0800] "GET /cgi-bin/mailgraph.cgi/mailgraph_0_err.png HTTP/1.1" 200 6324
10.0.0.153 - - [12/Mar/2004:12:23:18 -0800] "GET /cgi-bin/mailgraph.cgi/mailgraph_1.png HTTP/1.1" 200 8964
10.0.0.153 - - [12/Mar/2004:12:23:18 -0800] "GET /cgi-bin/mailgraph.cgi/mailgraph_0.png HTTP/1.1" 200 6225
10.0.0.153 - - [12/Mar/2004:12:23:18 -0800] "GET /cgi-bin/mailgraph.cgi/mailgraph_2_err.png HTTP/1.1" 200 7001
10.0.0.153 - - [12/Mar/2004:12:23:18 -0800] "GET /cgi-bin/mailgraph.cgi/mailgraph_2.png HTTP/1.1" 200 9514
10.0.0.153 - - [12/Mar/2004:12:23:18 -0800] "GET /cgi-bin/mailgraph.cgi/mailgraph_1_err.png HTTP/1.1" 200 6949
10.0.0.153 - - [12/Mar/2004:12:23:18 -0800] "GET /cgi-bin/mailgraph.cgi/mailgraph_3.png HTTP/1.1" 200 6644
10.0.0.153 - - [12/Mar/2004:12:23:18 -0800] "GET /cgi-bin/mailgraph.cgi/mailgraph_3_err.png HTTP/1.1" 200 5554
10.0.0.153 - - [12/Mar/2004:12:23:40 -0800] "GET /dccstats/index.html HTTP/1.1" 304 -
10.0.0.153 - - [12/Mar/2004:12:23:41 -0800] "GET /dccstats/stats-spam.1day.png HTTP/1.1" 200 2964
10.0.0.153 - - [12/Mar/2004:12:23:41 -0800] "GET /dccstats/stats-spam-ratio.1day.png HTTP/1.1" 200 2341
10.0.0.153 - - [12/Mar/2004:12:23:41 -0800] "GET /dccstats/stats-spam-ratio.1week.png HTTP/1.1" 200 2346
10.0.0.153 - - [12/Mar/2004:12:23:41 -0800] "GET /dccstats/stats-spam.1week.png HTTP/1.1" 200 3438
10.0.0.153 - - [12/Mar/2004:12:23:41 -0800] "GET /dccstats/stats-hashes.1week.png HTTP/1.1" 200 1670
10.0.0.153 - - [12/Mar/2004:12:23:41 -0800] "GET /dccstats/stats-spam.1month.png HTTP/1.1" 200 2651
10.0.0.153 - - [12/Mar/2004:12:23:41 -0800] "GET /dccstats/stats-spam-ratio.1month.png HTTP/1.1" 200 2023
10.0.0.153 - - [12/Mar/2004:12:23:41 -0800] "GET /dccstats/stats-hashes.1month.png HTTP/1.1" 200 1636
10.0.0.153 - - [12/Mar/2004:12:23:41 -0800] "GET /dccstats/stats-spam.1year.png HTTP/1.1" 200 2262
10.0.0.153 - - [12/Mar/2004:12:23:41 -0800] "GET /dccstats/stats-spam-ratio.1year.png HTTP/1.1" 200 1906
10.0.0.153 - - [12/Mar/2004:12:23:41 -0800] "GET /dccstats/stats-hashes.1year.png HTTP/1.1" 200 1582
216.139.185.45 - - [12/Mar/2004:13:04:01 -0800] "GET /mailman/listinfo/webber HTTP/1.1" 200 6051
pd95f99f2.dip.t-dialin.net - - [12/Mar/2004:13:18:57 -0800] "GET /razor.html HTTP/1.1" 200 2869
d97082.upc-d.chello.nl - - [12/Mar/2004:13:25:45 -0800] "GET /SpamAssassin.html HTTP/1.1" 200 7368

查看HDFS文件的前20行

$ bin/hdfs dfs -cat /datas/access_log | head -20
64.242.88.10 - - [07/Mar/2004:16:05:49 -0800] "GET /twiki/bin/edit/Main/Double_bounce_sender?topicparent=Main.ConfigurationVariables HTTP/1.1" 401 12846
64.242.88.10 - - [07/Mar/2004:16:06:51 -0800] "GET /twiki/bin/rdiff/TWiki/NewUserTemplate?rev1=1.3&rev2=1.2 HTTP/1.1" 200 4523
64.242.88.10 - - [07/Mar/2004:16:10:02 -0800] "GET /mailman/listinfo/hsdivision HTTP/1.1" 200 6291
64.242.88.10 - - [07/Mar/2004:16:11:58 -0800] "GET /twiki/bin/view/TWiki/WikiSyntax HTTP/1.1" 200 7352
64.242.88.10 - - [07/Mar/2004:16:20:55 -0800] "GET /twiki/bin/view/Main/DCCAndPostFix HTTP/1.1" 200 5253
64.242.88.10 - - [07/Mar/2004:16:23:12 -0800] "GET /twiki/bin/oops/TWiki/AppendixFileSystem?template=oopsmore&param1=1.12&param2=1.12 HTTP/1.1" 200 11382
64.242.88.10 - - [07/Mar/2004:16:24:16 -0800] "GET /twiki/bin/view/Main/PeterThoeny HTTP/1.1" 200 4924
64.242.88.10 - - [07/Mar/2004:16:29:16 -0800] "GET /twiki/bin/edit/Main/Header_checks?topicparent=Main.ConfigurationVariables HTTP/1.1" 401 12851
64.242.88.10 - - [07/Mar/2004:16:30:29 -0800] "GET /twiki/bin/attach/Main/OfficeLocations HTTP/1.1" 401 12851
64.242.88.10 - - [07/Mar/2004:16:31:48 -0800] "GET /twiki/bin/view/TWiki/WebTopicEditTemplate HTTP/1.1" 200 3732
64.242.88.10 - - [07/Mar/2004:16:32:50 -0800] "GET /twiki/bin/view/Main/WebChanges HTTP/1.1" 200 40520
64.242.88.10 - - [07/Mar/2004:16:33:53 -0800] "GET /twiki/bin/edit/Main/Smtpd_etrn_restrictions?topicparent=Main.ConfigurationVariables HTTP/1.1" 401 12851
64.242.88.10 - - [07/Mar/2004:16:35:19 -0800] "GET /mailman/listinfo/business HTTP/1.1" 200 6379
64.242.88.10 - - [07/Mar/2004:16:36:22 -0800] "GET /twiki/bin/rdiff/Main/WebIndex?rev1=1.2&rev2=1.1 HTTP/1.1" 200 46373
64.242.88.10 - - [07/Mar/2004:16:37:27 -0800] "GET /twiki/bin/view/TWiki/DontNotify HTTP/1.1" 200 4140
64.242.88.10 - - [07/Mar/2004:16:39:24 -0800] "GET /twiki/bin/view/Main/TokyoOffice HTTP/1.1" 200 3853
64.242.88.10 - - [07/Mar/2004:16:43:54 -0800] "GET /twiki/bin/view/Main/MikeMannix HTTP/1.1" 200 3686
64.242.88.10 - - [07/Mar/2004:16:45:56 -0800] "GET /twiki/bin/attach/Main/PostfixCommands HTTP/1.1" 401 12846
64.242.88.10 - - [07/Mar/2004:16:47:12 -0800] "GET /robots.txt HTTP/1.1" 200 68
64.242.88.10 - - [07/Mar/2004:16:47:46 -0800] "GET /twiki/bin/rdiff/Know/ReadmeFirst?rev1=1.5&rev2=1.4 HTTP/1.1" 200 5724
cat: Unable to write to output stream.

随机查看HDFS文件的10行

$ bin/hdfs dfs -cat /datas/access_log | shuf -n 10
10.0.0.153 - - [12/Mar/2004:12:23:17 -0800] "GET /cgi-bin/mailgraph2.cgi HTTP/1.1" 200 2987
64.242.88.10 - - [08/Mar/2004:14:23:54 -0800] "GET /twiki/bin/oops/TWiki/RyanFreebern?template=oopsmore&param1=1.2&param2=1.2 HTTP/1.1" 200 11263
p213.54.168.132.tisdip.tiscali.de - - [08/Mar/2004:05:26:06 -0800] "GET /twiki/bin/edit/Main/UvscanAndPostFix?topicparent=Main.WebHome HTTP/1.1" 401 12851
ts05-ip44.hevanet.com - - [10/Mar/2004:08:55:40 -0800] "GET /twiki/bin/view/Main/KevinWGagel HTTP/1.1" 200 4901
10.0.0.153 - - [10/Mar/2004:12:07:07 -0800] "GET /icons/gnu-head-tiny.jpg HTTP/1.1" 304 -
spot.nnacorp.com - - [08/Mar/2004:09:02:54 -0800] "GET /twiki/pub/TWiki/TWikiLogos/twikiRobot46x50.gif HTTP/1.1" 304 -
64.242.88.10 - - [08/Mar/2004:05:56:08 -0800] "GET /twiki/bin/view/TWiki/TWikiRegistration?rev=r1.4 HTTP/1.1" 200 12113
lj1117.inktomisearch.com - - [10/Mar/2004:18:13:54 -0800] "GET /twiki/bin/view/Main/VishaalGolam HTTP/1.0" 200 4577
10.0.0.153 - - [11/Mar/2004:15:52:38 -0800] "GET /dccstats/stats-spam-ratio.1week.png HTTP/1.1" 200 2434
64.242.88.10 - - [08/Mar/2004:10:34:55 -0800] "GET /twiki/bin/view/TWiki/WebSearch?skin=print HTTP/1.1" 200 7196

查看文件的第3行到第10行

$ bin/hdfs dfs -cat /datas/access_log | sed -n '3,10p'
64.242.88.10 - - [07/Mar/2004:16:10:02 -0800] "GET /mailman/listinfo/hsdivision HTTP/1.1" 200 6291
64.242.88.10 - - [07/Mar/2004:16:11:58 -0800] "GET /twiki/bin/view/TWiki/WikiSyntax HTTP/1.1" 200 7352
64.242.88.10 - - [07/Mar/2004:16:20:55 -0800] "GET /twiki/bin/view/Main/DCCAndPostFix HTTP/1.1" 200 5253
64.242.88.10 - - [07/Mar/2004:16:23:12 -0800] "GET /twiki/bin/oops/TWiki/AppendixFileSystem?template=oopsmore&param1=1.12&param2=1.12 HTTP/1.1" 200 11382
64.242.88.10 - - [07/Mar/2004:16:24:16 -0800] "GET /twiki/bin/view/Main/PeterThoeny HTTP/1.1" 200 4924
64.242.88.10 - - [07/Mar/2004:16:29:16 -0800] "GET /twiki/bin/edit/Main/Header_checks?topicparent=Main.ConfigurationVariables HTTP/1.1" 401 12851
64.242.88.10 - - [07/Mar/2004:16:30:29 -0800] "GET /twiki/bin/attach/Main/OfficeLocations HTTP/1.1" 401 12851
64.242.88.10 - - [07/Mar/2004:16:31:48 -0800] "GET /twiki/bin/view/TWiki/WebTopicEditTemplate HTTP/1.1" 200 3732

查看指定时间的前后5行（包括指定的行）

$ bin/hdfs dfs -cat /datas/access_log | grep -C 5 07/Mar/2004:16:31:48
64.242.88.10 - - [07/Mar/2004:16:20:55 -0800] "GET /twiki/bin/view/Main/DCCAndPostFix HTTP/1.1" 200 5253
64.242.88.10 - - [07/Mar/2004:16:23:12 -0800] "GET /twiki/bin/oops/TWiki/AppendixFileSystem?template=oopsmore&param1=1.12&param2=1.12 HTTP/1.1" 200 11382
64.242.88.10 - - [07/Mar/2004:16:24:16 -0800] "GET /twiki/bin/view/Main/PeterThoeny HTTP/1.1" 200 4924
64.242.88.10 - - [07/Mar/2004:16:29:16 -0800] "GET /twiki/bin/edit/Main/Header_checks?topicparent=Main.ConfigurationVariables HTTP/1.1" 401 12851
64.242.88.10 - - [07/Mar/2004:16:30:29 -0800] "GET /twiki/bin/attach/Main/OfficeLocations HTTP/1.1" 401 12851
64.242.88.10 - - [07/Mar/2004:16:31:48 -0800] "GET /twiki/bin/view/TWiki/WebTopicEditTemplate HTTP/1.1" 200 3732
64.242.88.10 - - [07/Mar/2004:16:32:50 -0800] "GET /twiki/bin/view/Main/WebChanges HTTP/1.1" 200 40520
64.242.88.10 - - [07/Mar/2004:16:33:53 -0800] "GET /twiki/bin/edit/Main/Smtpd_etrn_restrictions?topicparent=Main.ConfigurationVariables HTTP/1.1" 401 12851
64.242.88.10 - - [07/Mar/2004:16:35:19 -0800] "GET /mailman/listinfo/business HTTP/1.1" 200 6379
64.242.88.10 - - [07/Mar/2004:16:36:22 -0800] "GET /twiki/bin/rdiff/Main/WebIndex?rev1=1.2&rev2=1.1 HTTP/1.1" 200 46373
64.242.88.10 - - [07/Mar/2004:16:37:27 -0800] "GET /twiki/bin/view/TWiki/DontNotify HTTP/1.1" 200 4140

查看指定时间的前5行（包括指定的行）

$ bin/hdfs dfs -cat /datas/access_log | grep -B 5 07/Mar/2004:16:31:48
64.242.88.10 - - [07/Mar/2004:16:20:55 -0800] "GET /twiki/bin/view/Main/DCCAndPostFix HTTP/1.1" 200 5253
64.242.88.10 - - [07/Mar/2004:16:23:12 -0800] "GET /twiki/bin/oops/TWiki/AppendixFileSystem?template=oopsmore&param1=1.12&param2=1.12 HTTP/1.1" 200 11382
64.242.88.10 - - [07/Mar/2004:16:24:16 -0800] "GET /twiki/bin/view/Main/PeterThoeny HTTP/1.1" 200 4924
64.242.88.10 - - [07/Mar/2004:16:29:16 -0800] "GET /twiki/bin/edit/Main/Header_checks?topicparent=Main.ConfigurationVariables HTTP/1.1" 401 12851
64.242.88.10 - - [07/Mar/2004:16:30:29 -0800] "GET /twiki/bin/attach/Main/OfficeLocations HTTP/1.1" 401 12851
64.242.88.10 - - [07/Mar/2004:16:31:48 -0800] "GET /twiki/bin/view/TWiki/WebTopicEditTemplate HTTP/1.1" 200 3732

查看指定时间的后5行（包括指定的行）

$ bin/hdfs dfs -cat /datas/access_log | grep -A 5 07/Mar/2004:16:31:48
64.242.88.10 - - [07/Mar/2004:16:31:48 -0800] "GET /twiki/bin/view/TWiki/WebTopicEditTemplate HTTP/1.1" 200 3732
64.242.88.10 - - [07/Mar/2004:16:32:50 -0800] "GET /twiki/bin/view/Main/WebChanges HTTP/1.1" 200 40520
64.242.88.10 - - [07/Mar/2004:16:33:53 -0800] "GET /twiki/bin/edit/Main/Smtpd_etrn_restrictions?topicparent=Main.ConfigurationVariables HTTP/1.1" 401 12851
64.242.88.10 - - [07/Mar/2004:16:35:19 -0800] "GET /mailman/listinfo/business HTTP/1.1" 200 6379
64.242.88.10 - - [07/Mar/2004:16:36:22 -0800] "GET /twiki/bin/rdiff/Main/WebIndex?rev1=1.2&rev2=1.1 HTTP/1.1" 200 46373
64.242.88.10 - - [07/Mar/2004:16:37:27 -0800] "GET /twiki/bin/view/TWiki/DontNotify HTTP/1.1" 200 4140
浮云6363
关注
  • 6
    点赞
  • 踩
  • 22
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hadoop 命令查看文件前几行
杨鑫newlife的专栏
05-22 1万+
hdfs dfs -text /data/xxx2018050208-1525219204138-192.168.30.20-4-0.gz | head -5
大数据组件HDFS、MapReduce、Hive三个大数据组件的特点和架构，并详细阐述它们之间的联系与区别
程序员光剑
08-04 2240
大数据组件是解决大数据的关键组件之一，在Hadoop生态系统中占据着至关重要的地位，它包括了HDFS、MapReduce、Hive等等一系列框架和工具。本文将会通过主要分析HDFS、MapReduce、Hive三个大数据组件的特点和架构，并详细阐述它们之间的联系与区别。HDFS（Hadoop Distributed File System）介绍MapReduce（Hadoop Distributed Computing Framework）介绍。
HDFS查看文件的前几行-后几行-行数
weixin_43087913的博客
06-11 2053
随机返回指定行数的样本数据 hadoop fs -cat /test/gonganbu/scene_analysis_suggestion/* | shuf -n 5 返回前几行的样本数据 hadoop fs -cat /test/gonganbu/scene_analysis_suggestion/* | head -100 返回最后几行的样本数据 hadoop fs -cat /test/gonganbu/scene_analysis_suggestion/* | tail
统计HDFS中文件数量、大小、以及在某范围大小的文件数量
最新发布
十八闲客的博客,专注于大数据运维
07-21 423
使用：hdfs dfs -ls -R / |grep ^-数据保存在 data.txt 文件中；
HDFS查看文件的行数-前几行-后几行
weixin_47681855的博客
07-27 3883
查看文本行数 hadoop fs -cat hdfs://172.168.0.11:8020/test/says_dict/sysdict_type.data |wc -l 查看文件大小(单位byte) hadoop fs -du hdfs://172.168.0.11:8020/test/says_dict/* hadoop fs -count hdfs://172.168.0.11:8020/test/says_dict/* 随机返回指定行数的样本数据 hadoop fs -cat /test/.
查看 HDFS 文件前几行、后几行
weixin_38073361的博客
10-27 1778
近日需要，从hdfs导出一些测试文件，找到一些命令，特此记录 随机返回指定行数的样本数据 hadoop fs -cat /test/gonganbu/scene_analysis_suggestion/* | shuf -n 5 返回前几行的样本数据 hadoop fs -cat /test/gonganbu/scene_analysis_suggestion/* | head -100 返回最后几行的样本数据 hadoop fs -cat /test/gonganbu/scene_analysis_s.
hdfs查看目录文件的大小 hdfs dfs -du -s -h /
热门推荐
Aying_seeyou的博客
11-23 2万+
1.hdfs dfs -du -h 查看各级文件大小 会出现两列数字，第一列为单个文件实际大小，第二列为备份大小。 2.hdfs dfs -ls -h 也可以查看文件大小 但是当子文件目录过多时 统计的大小为0 3.命令 hdfs dfs -du -s -h /user/hive/warehouse/ 结果 97.1 G 291.3 G /user/hive/warehouse 第一列标示该目录下总文件大小 第二列标示该目录下所有文件在集群上的总存储大小和你的副本数相关，我的副本数是3 ，所以第二列的
Hive-偏移/排序窗口函数&随机抽样
thatdanielyang的博客
11-28 990
Hive-偏移/排序窗口函数&随机抽样 1. 偏移函数 偏移函数 备注 LEAD(col,n,DEFAULT) 用于统计窗口内往下第n行值 从当前行下移几行的值（最后一行取值为null） LAG(col,n,DEFAULT) 用于统计窗口内往上第n行值 从当前行上移几行的值（第一行取值为null） first_value(col, DEFAULT) 取分组内排序后，截止到当前行，第一个值 last_value(col, DEFAULT) 取分组内排序后，截止到当前行,最后一
Hadoop期末考试选择题整合--助力期末绩点提高！
考研渣渣斌斌的博客
12-26 3532
HDFS默认的当前工作目录是/user/$USER, fs.default.name的值需要在哪个配置文件内说明？ A、mapred-site.xml B、hdfs_site.xml C、core-site.xml D、以上均不是 如何启动ssh服务？ == A、 service sshd start== B、service ssh start C、/etc/init.d/ssh status D、service ssh status 关于服务启动正确的是（） A、sbin/hadoop-dae..
Linux---------安装以及基本语法知识
夜如花
02-26 1515
Linux简介 2.1.1.1 UNIX与Linux发展史 Unix在1969年，美国贝尔实验室的肯汤普森在DEC PDP-7机器上开发出了UNIX系统。 Linux出现于1991年，是由芬兰赫尔辛基大学学生李纳斯·托瓦兹（Linus Torvalds）和后来加入的众多爱好者共同开发完成 。 2.1.1.2 Linux介绍 Linux是一种自由和开放源码的操作系统，存在着许多不同的Linux发行版...
大数据命令，一文在手，全部都有2.0
悦上心灵的博客
01-29 901
一文在手，全部都有
Hadoop 常用查看文件的命令
qq_34905853的博客
07-03 1万+
随机返回指定行数的样本数据 hadoop fs -cat /test/gonganbu/scene_analysis_suggestion/* | shuf -n 5返回前几行的样本数据 hadoop fs -cat /test/gonganbu/scene_analysis_suggestion/* | head -100返回最后几行的样本数据 hadoop fs -cat /test/gong...
Hadoop学习笔记（三）HDFS的常用命令
1853
07-19 3969
HDFS学习笔记 hdfs基本命令 ls hdfs dfs -ls / ls -R hdfs dfs -ls -R / mkdir hdfs dfs -mkdir -p /hao/ok put hdfs dfs -put /root/a.txt /dir1 moveFromLocal hdfs dfs -moveFromLocal /root/hao.txt / get hdfs dfs -get /dir2/dir22/a.txt ./ mv hdfs dfs -mv /dir1/a.txt
最详细HDFS常用命令作用及截图
kunkun的博客
04-16 5065
HDFS常用命令集合
HDFS文件的tail
wangluowanglei的专栏
12-05 1304
package com.xxx.hdfstail; import java.io.BufferedReader; import java.io.IOException; import java.io.InputStreamReader; import org.apache.hadoop.conf.Configuration; import org.apache.hadoo
大数据学习之路54-利用tail -F来实时采集最新数据到HDFS
爱米酱的博客
08-28 474
如果我们需要不断的采集log4j的日志文件中不断新增的记录，我们可以通过命令采集，我们的采集方案与之前不同的地方如下： agent1.sources.source1.type = exec agent1.sources.source1.command = tail -F /root/logs/log/access_log agent1.sources.source1.f...
HDFS
px的博客
01-06 972
一、HDFS的体系结构 1、NameNode：主节点        职责：管理维护HDFS   维护了两个非常重要的文件： edits文件  -----&gt; 记录操作日志（事务日志）  fsimage文件 ----&gt; HDFS的元信息(映像文件)         HDFS操作日志：edits文件   位置：find . -name edits*  最新的操作日志：...
hadoop 文件操作（未完待续）
BiuFEIMIR的博客
03-31 939
1. 查看文件大小 hadoop fs -du -h /user/filename -h 没有则按照byte显示，否则按照G 2. 查看文件行数 hadoop fs -cat /文件* | wc -l hadoop fs -cat /datastream/portal/jinritoutiao/video/2018-08-11/portal_jinritoutiao_video_20180811*|wc -l 查看该目录下所有文件名包含portal_jinritoutiao_video
命令 使用
JackLi31742的博客
05-30 982
hdfs常用命令： 上传： hadoop fs -put wp.txt /user 添加文件到hdfs上已经有的文件： hadoop fs -appendToFile a.txt /user/wp.txt hdfs删除文件： hadoop fs -rm -r 路径 查看hadoop 状态 hadoop dfsadmin -report 磁盘写满： http://qindongl...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值