shell--文本处理之倒叙排列+根据第2行内容去重

最新推荐文章于 2022-12-09 17:16:55 发布
最新推荐文章于 2022-12-09 17:16:55 发布
阅读量1.2k 收藏
点赞数
分类专栏： shell
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liyyzz33/article/details/93380301
版权

需求如题：
文本实例dalu.log：

c5cc1dc6b2d83cd913b4b150a 67519
a13e9d85c558f7b0f6d05fe03 67519
31bfbcaeb21af1a5c104ad762 32276
c5cc1dc6b2d83cd913b4b150a 67519
8f38634388c793a77fdeef91e 88888
c5cc1dc6b2d83cd913b4b150a 67519
8f38634388c793a77fdeef91e 67519
8f38634388c793a77fdeef91e 88888
ba7994ab1e1a17e0c512c914e 55559

nl dalu.log | sort -nr | cut -f2 | sort -t ' ' -k 2 -u

31bfbcaeb21af1a5c104ad762 32276
ba7994ab1e1a17e0c512c914e 55559
8f38634388c793a77fdeef91e 67519
8f38634388c793a77fdeef91e 88888

解释：
nl dalu.log ：加入编号
sort -nr ：倒叙
cut -f2 ：去掉编号
sort -t ’ ’ -k 2 -u：按空格分隔后，按第二列的内容去重

打卤
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
linux sort命令 倒序,Linux 之 sort 命令
weixin_35065221的博客
05-03 7765
简介sort 是用来排序的，Unix Shell 的传统是对问本行做处理，因此 sort 也是对文本行进行排序，如果需要排序字段，则可以通过指定 -k，-t 等选项来实现。用法sort [options]... [file]...默认排序规则：数字开头的行会排在字母开头行之前字母序排序(不分大小写)小写字母会排在相同的大写字母之前OptionsFlag描述-r, --reverse倒序-o, --...
shell sort 排序 二次排序 去重
快乐程序员的专栏
12-13 8613
sort命令 sort命令既可以从特定的文件，也可以从stdin中获取输入，并将输出写入stdout。uniq的工作模式和sort一样。 以下两种方法都可以对一组文件进行排序。 sort file1.txt file2.txt ... > sorted.txt sort file1.txt file2.txt ... -o sorted.txt 找出已排序文件中不重复的行
gnome-shell-extensions-mediaplayer：GNOME Shell 3.18+的mediaplayer指示器
02-03
gnome-shell-extensions-mediaplayer 此扩展名已被撤消，存储库已存档。 如果您希望接管维护，请联系仓库。
linux 文本从低往上,新手必须掌握的Linux命令（上）
weixin_29113833的博客
05-13 261
1.1强大好用的Shell通常来讲，计算机硬件是有运算器，控制器，存储器，输入/ 输出设备等共同组成的，而让各种硬件设备各司其职且又能协同运行的东西就是系统内核。Linux系统的内核负责完成对硬件资源的分配、调度任务。一般不直接编译内核参数，而是用户通过基于系统调用接口开发出的程序或者服务来管理计算机。主流Linux系统选择Bash解释器作为命令行终端主要是有以下4个优势：(1)通过上下方向键来调...
shell-利用正则表达式提取文本中的ip并去重
打卤的博客
10-17 3413
IP正则表达式： ip_regex="[[:digit:]]{1,3}\.[[:digit:]]{1,3}\.[[:digit:]]{1,3}\.[[:digit:]]{1,3}" 例子： 方法1： find . "1.txt" -type f -print | xargs cat | egrep -o $ip_regex | sort | uniq 方法2：(并带有端口) ip_rege...
linux sort 按列去重
wqfhenanxc的专栏
08-22 1万+
  有时候需要按照某些列去除重复，此时uniq无法做到，可以用sort做到： sort -t ',' -k 1,1 -u 其中 -t 指定列之间的分隔符， -k 指定从第几列到第几列作为去重标准...
shell 基本语法第四讲之(find(文件查找)、xargs(字符串拼凑)、sed(处理文本)、awk(文本处理)、crontab(系统定时器))
有一种信仰叫海阔天空
12-09 1550
shell 基本语法第四讲之(find(文件查找)、xargs(字符串拼凑)、sed(处理文本)、awk(文本处理)、crontab(系统定时器))
shell脚本--将文件内容行逆序查看之tac命令
Andy_Hanna的专栏
10-12 1016
有一个文件，内容如下 [root@liuzhiwei-centos6 ~]# cat devlang.txt 1 java 2 c语言 3 python 4 shell 5 linux 将第二列按行逆序排序 [root@liuzhiwei-centos6 ~]# cat devlang.txt | grep -v ^$ | cut -d ' ' -f2 | tac | cat -...
SHELL学习基本篇-----文本处理（一）
ly2020_的博客
06-06 1290
1 SHELL脚本 1.1 shell脚本：  shell其实是一个命令解释器，它的作用是解释用户输入的命令和程序，命令和程序可以理解成我们图中的应用程序，我们linux系统中的那些命令其实也都是一个个的小程序，只不过完成的是系统的应用功能。我们在系统的终端中输入一条命令，可以立马看到一条或者几条系统回复我们的信息，其实就是shell在帮我们回复，所以shell可以称之为命令解释器。这种从键盘一输...
Linux脚本练习之script068-第二列是否有重复
二木成林
07-18 389
给定一个 `nowcoder.txt` 文件，其中有 `3` 列信息，如下实例，编写一个 shell 脚本来检查文件第二列是否有重复，且有几个重复，并提取出重复的行的第二列信息。
mysql-shell-8.0.18-windows-x86-64bit.zip
01-12
mysql-shell-8.0.18-windows-x86-64bit.zip MySQL Shell is an advanced command-line client and code editor for MySQL. In addition to SQL, MySQL Shell also offers scripting capabilities for JavaScript ...
Shell实现文本去重并操持原有顺序
09-15
主要介绍了Shell实现文本去重并操持原有顺序,本文分步骤讲解如何解决需求,并给出了若干方法,需要的朋友可以参考下
shell编程-文本文件处理（grep sed awk文本三剑客）
01-07
以一串字符作为表达式向系统传达意思（过滤匹配数据），元字符是描述字符的字符，正则表达式是有一串字符和元字符构成的字符串，主要功能为文本查询和字符串操作，匹配文本 大部分linux只支持基本的正则表达式。 hel...
ssh-shell-spring-boot：ssh上的Spring Boot应用程序中的Spring Shell
01-30
Spring Boot Ssh Shell ssh的Spring Boot应用程序中的Spring Shell 有关更多信息，请访问spring shell或。入门相依性< dependency> < groupId>...
shell-if表达式（-f,-d,-s,-r,-w,-x,-eq,-ne,-ge,-gt,-le,-lt ）
热门推荐
打卤的博客
12-05 6万+
文件表达式 if [ -f file ] 如果文件存在 if [ -d … ] 如果目录存在 if [ -s file ] 如果文件存在且非空 if [ -r file ] 如果文件存在且可读 if [ -w file ] 如果文件存在且可写 if [ -x file ] 如果文件存在且可执行 整数变量表达式 if [ int1 -eq int2 ...
shell脚本--提示确认（Y / N，YES / NO）
打卤的博客
06-24 3万+
你已经看到的命令多次要求确认[Y / N]或[YES / NO]输入。这是，如果用户想继续为其余步骤，它是非常有用的部分。您还可以添加同样的功能在您的脚本中。本文将帮助你完成这种类型的输入例子。 例1：确认提示（一次） 这个示例代码将为确认提示一次，如果你给输入错误，程序会以状态1退出。这个例子将只接受Y或N或YES或NO（不区分大小写）。 #!/bin/bash read -r -p "Are...
shell脚本-保留目录下最新的几个文件，其他删除
打卤的博客
11-27 8763
#!/bin/bash #保留文件数 ReservedNum=5 FileDir=/data/bak date=$(date &quot;+%Y%m%d-%H%M%S&quot;) FileNum=$(ls -l $FileDir|grep ^- |wc -l) while(( $FileNum &amp;gt; $ReservedNum)) do OldFile=$(ls -rt $FileDir| head...
shell脚本--计算2个数值的百分比
打卤的博客
12-06 6658
a=20 b=100 计算百分比 echo `awk 'BEGIN{printf "%.1f%%\n",('$a'/'$b')*100}'` 20.0%
shell脚本--重启nohup后台运行的程序
打卤的博客
02-12 6446
例子： 重启filebeat #!/bin/bash pid=`ps -ef | grep "filebeat" | grep php_api.yml | awk '{printf $2}'` echo $pid kill -9 $pid cd /data/logs/ nohup /data/elk/filebeat-6.0.0/filebeat -e -c /data/elk/fil...
[root@controllerljh ~]# nova network-list +----+-------+------+ | ID | Label | Cidr | +----+-------+------+ +----+-------+------+
最新发布
04-11
根据提供的引用内容，你正在运行一个名为OpenStack的云计算平台。你想要获取当前的网络列表。你可以使用以下命令来获取网络列表： ```shell [root@controllerljh ~]# nova network-list ``` 然而，根据提供的引用...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值