linux脚本去重,Shell脚本去重的几种方法实例

Shell脚本去重的几种方法实例

测试文件

复制代码 代码如下:

[root@bogon ~]# cat >test

jason

jason

jason

fffff

jason

按 Ctr + D保存

1、sort -u

复制代码 代码如下:

[root@bogon ~]# sort -u test

fffff

jason

2、uniq

复制代码 代码如下:

[root@bogon ~]# uniq test

jason

fffff

jason

由此可见，uniq需要先排序后才能去重

3、sort、管道和uniq结合运用

去除重复并保留一份重复的数据

复制代码 代码如下:

[root@bogon ~]# sort test|uniq

fffff

jason

去除所有重复的行(不保留重复的行)，并计算行数

复制代码 代码如下:

[root@bogon ~]# sort test|uniq -uc

1 fffff

找出所有重复的行，并计算行数

复制代码 代码如下:

[root@bogon ~]# sort test|uniq -dc

4 jason

根据某个字段去重

将原有数据改为

复制代码 代码如下:

[root@bogon ~]# more test

jason 1

jason 2

jason 1

fffff 2

jason 3

[root@bogon ~]# sort -k 1,1 -u test

fffff 2

jason 1

man sort查看sort的用法，-k参数是这么描述的：

复制代码 代码如下:

-k, --key=POS1[,POS2]

start a key at POS1 (origin 1), end it at POS2 (default end of line)

也就是说-k哪几个列进行排序，pos1是开始列，pos2是结束列

时间： 2015-07-07

第一种方法(gzexe): 这种加密方式不是非常保险的方法,但是能够满足一般的加密用途,可以隐蔽脚本中的密码等信息. 它是使用系统自带的gzexe程序,它不但加密,同时压缩文件. 使用方法: 复制代码 代码如下: gzexe file.sh 它会把原来没有加密的文件备份为 file.sh~ ,同时 file.sh 即被变成加密文件: 第二种方法(shc): 使用 shc 对 Linux shell 脚本加密. shc是一个专业的加密shell脚本的工具.它的作用是把shell脚本转换为一个可执行

在上一篇关于shell编程的例子中,有讲到把shell脚本进行扩展之后重定向到一个文件中,以便进行查看和调试http://www.jb51.net/article/62435.htm.但是,若是有另一种情况:只是在某些地方进行重定向,而其他地方不进行重定向.那么我们就来修改一下上一篇中的例子来进行这种需求的满足: 复制代码 代码如下: #!/bin/bash function setlogfile {     if ! [ -z "$1" ]; then         echo &q

本文实例讲述了JS数组去重的6种方法.分享给大家供大家参考,具体如下:

www.jb51.net 数组去重