Linux命令：uniq命令和wc命令

已于 2024-03-04 12:31:23 修改
阅读量367 收藏 11
点赞数 9
分类专栏： Linux命令 文章标签： linux 运维 服务器
于 2024-03-04 12:12:35 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dl_11/article/details/136448624
版权

目录

1 uniq命令

1.1 uniq简介

uniq 命令用于检查及删除文本文件中重复出现的行列。它通过对输入文本进行比较，找出相邻的重复行，并只输出其中的一行。如果文件没有排序，uniq 默认只会删除相邻的重复行，不会删除不相邻的重复行。因此，通常在使用 uniq 之前，会先使用 sort 命令对文件进行排序。

1.2说明

使用：uniq [OPTION]… [INPUT [OUTPUT]]
常用参数：

  • -c：在每行前面显示该行重复出现的次数
  • -d：只输出重复的行，每个组打印一行
  • -D：打印所有重复的行
  • -f, --skip-fields=N：比较时会跳过前面N行
  • -i：比较时忽略大小写
  • -s, --skip-chars=N：比较时会跳过前面N个字符
  • -u：只显示唯一的一行
  • -z：行分隔符是NUL，而不是换行符
  • -w, --check-chars=N：只比较每行前N个字符，之后的字符不再比较
  • –help：查看帮助信息
  • –version：显示版本信息

1.3案例

先编写一个测试文件

root@con02:~# cat a
abcd
abcd
2374hd67
2374fb;ll
Abcd
abcd
2737834
ijnk
098j  dhyyi
7hyt  fhyyi
ijnk
2374fb;ll

root@con02:~#

1、默认输出

root@con02:~# uniq a
abcd
2374hd67
2374fb;ll
Abcd
abcd
2737834
ijnk
098j  dhyyi
7hyt  fhyyi
ijnk
2374fb;ll

root@con02:~#
统计行数
root@con02:~# uniq  -c a
      2 abcd
      1 2374hd67
      1 2374fb;ll
      1 Abcd
      1 abcd
      1 2737834
      1 ijnk
      1 098j  dhyyi
      1 7hyt  fhyyi
      1 ijnk
      1 2374fb;ll
      1
root@con02:~# cat a |uniq -c
      2 abcd
      1 2374hd67
      1 2374fb;ll
      1 Abcd
      1 abcd
      1 2737834
      1 ijnk
      1 098j  dhyyi
      1 7hyt  fhyyi
      1 ijnk
      1 2374fb;ll
      1
# sort和uniq命令配合使用      
root@con02:~# sort a |uniq -c
      1
      1 098j  dhyyi
      2 2374fb;ll
      1 2374hd67
      1 2737834
      1 7hyt  fhyyi
      3 abcd
      1 Abcd
      2 ijnk
root@con02:~#

2、输出重复行

# -d 和 -D都是输出重复行
# -d：重复行只输出一次
# -D：输出所有重复行

root@con02:~# uniq -d a
abcd
root@con02:~# uniq -D a
abcd
abcd
root@con02:~#

3、比较一行中的部分字符

# -s：会跳过前面N个字符，只比较后面的字符
# -w：只比较前面N个字符，之后的字符不再比较

root@con02:~# uniq -s 7 -c a
      2 abcd
      1 2374hd67
      1 2374fb;ll
      4 Abcd
      2 098j  dhyyi
      1 ijnk
      1 2374fb;ll
      1
root@con02:~# uniq -s 6 -c a
      2 abcd
      1 2374hd67
      1 2374fb;ll
      2 Abcd
      1 2737834
      1 ijnk
      1 098j  dhyyi
      1 7hyt  fhyyi
      1 ijnk
      1 2374fb;ll
      1

root@con02:~# uniq -w 4 -c a
      2 abcd
      2 2374hd67
      1 Abcd
      1 abcd
      1 2737834
      1 ijnk
      1 098j  hyyi
      1 7hyt  hyyi
      1 ijnk
      1 2374fb;ll
      1
root@con02:~# uniq -w 5 -c a
      2 abcd
      1 2374hd67
      1 2374fb;ll
      1 Abcd
      1 abcd
      1 2737834
      1 ijnk
      1 098j  dhyyi
      1 7hyt  fhyyi
      1 ijnk
      1 2374fb;ll
      1
root@con02:~#

4、忽略大小写

root@con02:~# uniq -i -c a
      2 abcd
      1 2374hd67
      1 2374fb;ll
      2 Abcd
      1 2737834
      1 ijnk
      1 098j  dhyyi
      1 7hyt  fhyyi
      1 ijnk
      1 2374fb;ll
      1
root@con02:~#

5、只显示唯一的行

root@con02:~# uniq -u -c a
      1 2374hd67
      1 2374fb;ll
      1 Abcd
      1 abcd
      1 2737834
      1 ijnk
      1 098j  dhyyi
      1 7hyt  fhyyi
      1 ijnk
      1 2374fb;ll
      1
root@con02:~#

2.4 uniq和sort命令配合使用

1、文本统计

有一个 a 文本，要求将所有包含abcd和2374的字符过滤出来，并统计这些字符重复出现的次数。

cat a |grep -iE "abcd|2374"|sort|uniq -c|sort  -nr
      2 abcd
      2 2374fb;ll
      1 abcdNUL
      1 Abcd
      1 2374hd67

# grep -iE "abcd|2374" ： 先过滤包含abcd或2374的字符
# sort：进行过滤
# uniq -c 显示该行重复次数
# sort -nr 按照数值从大到小排序

2、统计IP连接数并排序

netstat -antp I grep ESTABLISHED|grep -E "([0-9]{1,3}.){3}[0-9]{1,3}" | awk '{print $5}' | cut -d ":" -f1 | sort -n | uniq -c | sort -nr
      5 0.0.0.0
      3 127.0.0.1
      ...

2 wc命令

2.1 wc简介

wc 命令可以统计文本文件中的字符数、单词数和行数。它对于快速获取文件的统计信息非常有用，比如检查文件的大小、评估文本内容的长度等。wc 命令可以处理各种类型的文本文件，包括纯文本文件、源代码文件等。

2.2 说明

使用：

  • wc [OPTION]… [FILE]…
  • wc [OPTION]… --files0-from=F

常用参数：

  • -c, --bytes：输出字节数
  • -m, --chars：输出字符数
  • -l, --lines：输出行数
  • -L, --max-line-length：显示最长行的长度
  • -w, --words：输出单词数

2.3 案例

测试文件

root@con02:~# cat a
abcd
abcd
2374hd67
2374fb;ll
Abcd
abcdNUL
2737834
ijnk
098j  dhyyi
7hyt  fhyyi
ijnk
2374fb;ll

root@con02:~#

1、默认输出

wc a
13 14 95 a
# 输出内容分别为：行数 字数 字节数 文件
# 如果查看多个文件，会在最后输出每一项的总和
 wc a /etc/passwd
  13   14   95 a
  36   52 1958 /etc/passwd
  49   66 2053 total
输出行数
root@con02:~# wc -l a
13 a
root@con02:~#

2、输出字节、字符数、单词数

# 输出字节数
root@con02:~# wc -c a
95 a
# 输出字符数
root@con02:~# wc -m a
95 a
# 输出单词数
root@con02:~# wc -w a
14 a
root@con02:~#
输出最长行的长度
root@con02:~# wc -L a
11 a
root@con02:~#

总结

sort命令、wc命令、uniq命令一般都会组合配合使用，再配和grep、awk和cut命令，在实际查询中很常用，尤其是在shell脚本中，所以这几个命令都需要掌握好。

暮雨浅夏
关注
  • 9
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Linux sort,uniq,cut,wc命令详解
01-09
sort 　　sort 命令对 File 参数指定的文件中的行排序，并将结果写到标准输出。如果 File 参数指定多个文件，那么 sort 命令将这些文件连接起来，并当作一个文件进行排序。 　　sort语法 　　[root@www~]# sort [-fbMnrtuk] [file or stdin] 　　选项与参数： 　　-f  ：忽略大小写的差异，例如 A 与 a 视为编码相同； 　　-b  ：忽略前面的空格符部分； 　　-M  ：以月份的名字来排序，例如 JAN， DEC 等等的排序方法； 　　-n  ：使用『纯数字』进行排序(默认是以文字型态来排序的)； 　　-r 
windows dos环境下直接运行linux命令集合
06-07
使用方法，解压到本地目录，配置path，即可在dos下使用linux命令。 windows下能直接执行的linux命令，基本包括日常所有，如：[.exe grolbp.exe regtool.exe a2p.exe grolj4.exe rm.exe a2p5.10.0.exe grops.exe rmdir.exe addftinfo.exe grotty.exe rmt.exe addr2line.exe gzip.exe run.exe alternatives.exe head.exe runcon.exe ar.exe hostid.exe rxvt.exe arch.exe hostname.exe scp.exe as.exe hpftodit.exe sdiff.exe ascii.exe i686-pc-cygwin-gcc-3.4.4.exe sed.exe ash.exe i686-pc-cygwin-gcc-3.exe semstat.exe awk.exe i686-pc-cygwin-gcc.exe semtool.exe banner.exe id.exe seq.exe base64.exe indxbib.exe setfacl.exe basename.exe info.exe setmetamode.exe bash.exe infokey.exe sftp-server.exe bigram.exe install-info.exe sftp.exe bunzip2.exe install.exe sh.exe bzcat.exe ipcrm.exe sha1sum.exe bzip2.exe ipcs.exe sha224sum.exe bzip2recover.exe join.exe sha256sum.exe c++filt.exe kill.exe sha384sum.exe cat.exe ld.exe sha512sum.exe cc-3.exe less.exe shmtool.exe cc.exe lessecho.exe shred.exe chcon.exe lesskey.exe shuf.exe chgrp.exe link.exe size.exe chmod.exe lkbib.exe sleep.exe chown.exe ln.exe soelim.exe chroot.exe locate.exe sort.exe cksum.exe login.exe split.exe cmp.exe logname.exe ssh-add.exe code.exe lookbib.exe ssh-agent.exe comm.exe lpr.exe ssh-keygen.exe conv.exe ls.exe ssh-keyscan.exe cp.exe make.exe ssh-keysign.exe cpp-3.exe makeinfo.exe ssh.exe cpp.exe man.exe sshd.exe crypt.exe man2html.exe ssp.exe csplit.exe manpath.exe stat.exe cut.exe md5sum.exe strace.exe cygcheck.exe mkdir.exe strings.exe cygpath.exe mkfifo.exe strip.exe cygrunsrv.exe mkgroup.exe stty.exe cygserver.exe mknod.exe su.exe cygstart.exe mkpasswd.exe sum.exe d2u.exe mkshortcut.exe svn.exe date.exe mktemp.exe svnadmin.exe dd.exe mount.exe svndumpfilter.exe df.exe msgtool.exe svnlook.exe diff.exe mv.exe svnsync.exe diff3.exe nc.exe svnversion.exe dir.exe ngettext.exe sync.exe dircolors.exe nice.exe tac.exe dirname.exe nl.exe tail.exe dlltool.exe nm.exe tar.exe dllwrap.exe nohup.exe tbl.exe dos2unix.exe objcopy.exe tee.exe du.exe objdump.exe test.exe dump.exe od.exe texindex.exe dumper.exe oldfind.exe tfmtodit.exe echo.exe openssl.exe touch.exe editrights.exe passwd.exe tr.exe egrep.exe paste.exe troff.exe env.exe pathchk.exe true.exe envsubst.exe peflags.exe tsort.exe eqn.exe perl.exe tty.exe expand.exe perl5.10.0.exe u2d.exe expr.exe pfbtops.exe umount.exe factor.exe pgawk-3.1.6.exe uname.exe false.exe pgawk.exe unexpand.exe fgrep.exe pic.exe uniq.exe find.exe pinky.exe unix2dos.exe fmt.exe post-grohtml.exe unlink.exe fold.exe pr.exe unprotoize-3.exe frcode.exe pre-grohtml.exe unprotoize.exe gawk-3.1.6.exe printenv.exe users.exe gawk.exe printf.exe vdir.exe gcc-3.exe protoize-3.exe vim.exe gcc.exe protoize.exe wc.exe gcov-3.exe ps.exe which.exe gcov.exe ptx.exe who.exe getclip.exe putclip.exe whoami.exe getfacl.exe pwd.exe windmc.exe gettext.exe ranlib.exe windres.exe gkill.exe readelf.exe xargs.exe gprof.exe readlink.exe xmlwf.exe grep.exe readshortcut.exe xxd.exe grn.exe realpath.exe yes.exe grodvi.exe rebase.exe zdump.exe groff.exe refer.exe zic.exe
Linux下查看CPU型号,内存大小,硬盘空间的命令(详解)
01-20
1 查看CPU 1.1 查看CPU个数 # cat /proc/cpuinfo | grep “physical id” | uniq | wc -l 2 **uniq命令：删除重复行;wc –l命令：统计行数** 1.2 查看CPU核数 # cat /proc/cpuinfo | grep “cpu cores” | uniq cpu cores : 4 1.3 查看CPU型号 # cat /proc/cpuinfo | grep ‘model name’ |uniq model name : Intel(R) Xeon(R) CPU E5630 @ 2.53GHz 总结：该服务器有2个4核
linux 核心命令源码
07-10
linux 核心命令源码（cp mv cat chgrp chown cut date df du echo env expand expr find force fs group head hostname join kill link ls mkdir mv nice od paste printf ptx rm selinux seq sleep sort split stat sum sync tail tee test tail timeout touch tr true tsort tty uname uniq user wc ...）
Linux命令大全
11-02
linux命令大全，中文版本 Linux命令大全(修改版) 进行重新编译的说明 文件传输 bye ftp ftpcount ftpshut ftpwho ncftp tftp uucico uucp uupick uuto 备份压缩 ar bunzip2 bzip2 bzip2recover compress cpio dump gunzip gzexe gzip lha restore tar unarj unzip zip zipinfo 文件管理 diff diffstat file find git gitview ln locate lsattr mattrib mc mcopy mdel mdir mktemp mmove mread mren mshowfat mtools mtoolstest mv od paste patch rcp rhmask rm slocate split tee tmpwatch touch umask whereis which cat chattr chgrp chmod chown cksum cmp cp cut indent 磁盘管理 cd df dirs du edquota eject lndir ls mcd mdeltree mdu mkdir mlabel mmd mmount mrd mzip pwd quota quotacheck quotaoff quotaon repquota rmdir rmt stat tree umount 磁盘维护 badblocks cfdisk dd e2fsck ext2ed fdisk fsck.ext2 fsck fsck.minix fsconf hdparm losetup mbadblocks mformat mkbootdisk mkdosfs mke2fs mkfs.ext2 mkfs mkfs.minix mkfs.msdos mkinitrd mkisofs mkswap mpartition sfdisk swapoff swapon symlinks sync 系统设置 alias apmd aumix bind chkconfig chroot clock crontab declare depmod dircolors dmesg enable eval export fbset grpconv grpunconv hwclock insmod kbdconfig lilo liloconfig lsmod minfo mkkickstart modinfo modprobe mouseconfig ntsysv passwd pwconv pwunconv rdate resize rmmod rpm set setconsole setenv setup sndconfig SVGAText Mode timeconfig ulimit unalias unset 系统管理 adduser chfn chsh date exit finger free fwhois gitps groupdel groupmod halt id kill last lastb login logname logout logrotate newgrp nice procinfo ps pstree reboot renice rlogin rsh rwho screen shutdown sliplogin su sudo suspend swatch tload top uname useradd userconf userdel usermod vlock w who whoami whois 文档编辑 col colrm comm csplit ed egrep ex fgrep fmt fold grep ispell jed joe join look mtype pico rgrep sed sort spell tr uniq wc 网络通讯 dip getty mingetty ppp-off smbd(samba daemon) telnet uulog uustat uux cu dnsconf efax httpd ifconfig mesg minicom nc netconf netconfig netstat ping pppstats samba setserial shapecfg(shaper configuration) smbd(samba daemon) statserial(status ofserial port) talk tcpdump testparm(te
Linux常用命令——uniq命令
AI的博客
01-16 1504
用于报告或忽略文件中的重复行，一般与sort命令结合使用。报告或忽略文件中的重复行。
linux中uniq c命令详解,Linux系统中uniq命令的基本使用教程
weixin_42357916的博客
05-01 9753
uniq [选项] 文件说明：这个命令读取输入文件，并比较相邻的行。在正常情况下，第二个及以后更多个重复行将被删去，行比较是根据所用字符集的排序序列进行的。该命令加工后的结果写到输出文件中。输入文件和输出文件必须不同。如果输入文件用“- ”表示，则从标准输入读取。该命令各选项含义如下：、– c 显示输出中，在每行行首加上本行在文件中出现的次数。它可取代- u和- d选项。– d 只显示重复行。– ...
Linux下uniq命令详解及C/C++代码实现
chen1415886044的博客
09-15 1999
Linux uniq 命令用于从文件中删除所有重复的行。uniq 命令的一个限制是它只能识别文件中相邻或彼此相邻的重复项。它可以单独使用，但通常与其他命令一起使用，例如识别文件中的冗余信息。首先执行“uniq”命令将仅识别相邻的重复项，然后使用“sort”命令将它们按字母顺序排序。uniq命令用于删除有序文件中的重复行并将结果输出到标准输出。从上面的输出中，命令“sort test1.txt | uniq -c”计算一个单词重复的次数。
linux常用命令介绍 04 篇——uniq命令使用介绍（Linux重复数据的统计处理）
@素素~的博客
03-02 2743
linux常用命令介绍 04 篇——uniq命令使用介绍（Linux重复数据的统计处理）
Linux----uniq命令详细使用方法
redrose2100的博客
12-15 1083
本文详细介绍了uniq命令详细使用方法
Linux运维常用命令
01-11
 awk '{print $1}' log_file|sort|uniq|wc -l PS: wc -l 看看有多少行 2、查看某一个页面被访问的次数： grep /index.php log_file | wc -l 3、查看每一个IP访问了多少个页面： awk '{++S[$1]} END {for (a in S)...
详解Linux服务器状态、性能相关命令
01-10
[root@host /]# cat /proc/cpuinfo | grep physical id | sort | uniq | wc -l #查看每个物理CPU的核数 [root@host /]# cat /proc/cpuinfo | grep cpu cores | uniq #逻辑CPU的个数（逻辑CPU = 物理CPU个数*核数...
Linux下查看CPU型号，内存大小命令（详情）
01-09
cat /proc/cpuinfo| grep “physical id”| sort| uniq| wc -l 查看每个物理CPU中core的个数(即核数) cat /proc/cpuinfo| grep “cpu cores”| uniq 查看逻辑CPU的个数 cat /proc/cpuinfo| grep “processor”| wc -...
linux命令c语言自己实现（大概40来个）
06-25
自己学习《APUE》时写的linux下一些命令(大概40个左右)实现，仅当学习使用，这些命令包括cat cp echo head ls paste rmdir tail umask who chattr cut expand join mkdir pwd sed tee uniq chgrp date find last ...
常用linux命令小结
06-01
因为不耐烦反复的查，索性自己总结了一个pdf，里面包括常用的linux命令，包括gcc,grep,tar,sed,find,screen,nohup,scp等，另外还有一些常用的文本处理命令如cat，split，head，tail，uniq，wc,more,less等。
Linux命令大全(CHM格式离线版)
06-23
Linux命令大全(CHM格式离线版) Linux命令大全(修改版) 进行重新编译的说明 文件传输 bye ftp ftpcount ftpshut ftpwho ncftp tftp uucico uucp uupick uuto 备份压缩 ar bunzip2 bzip2 bzip2recover compress cpio ...
Linux命令大全完整版
11-10
Linux命令大全完整版 目 录 目 录 I 1. linux系统管理命令 1 adduser 1 chfn(change finger information) 1 chsh(change shell) 1 date 2 exit 3 finger 4 free 5 fwhois 5 gitps(gnu interactive tools ...
Linux命令搜索工具linux-command.zip
07-18
col、colrm、comm、csplit、ed、egrep、ex、fgrep、fmt、fold、grep、ispell、jed、joe、join、look、mtype、pico、rgrep、sed、sort、spell、tr、uniq、wc 网络通讯 dip、getty、mingetty、ppp-off、smbd...
linux sort,uniq,wc命令
最新发布
08-13
Linux wc命令用于统计文件中的行数、字数和字符数。wc命令可以从命令行或者文件中读取输入，并将统计结果输出到标准输出或者文件中。wc命令默认情况下会输出一个包括行数、字数和字符数的行。可以使用参数来改变输出...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值