1 如果仅仅是删除内容完全一样重复行
则可以使用sort先进行排序 然后使用 uniq进行删除重复数据即可
例如 CUST.TXT
- 130000006800,17,151,01,250100
- 130000006800,17,151,01,250101
- 1300001077,17,151,01,256600
- 1300002764,17,151,01,256600
- 1300002764,17,151,01,256630
- 1300003690,17,151,01,256600
- 1300001077,17,151,01,256600
- 1300004771,17,151,01256600
- 1300006064,17,151,01,251900
- 130000693300,17,151,01370102690715295
- 1300013082,17,151,01,51700
第3行与第7行完全相同
第一步:sort 进行排序
第二部: uniq 去除重复(必须先进行排序,否则uniq无法去除重复 uniq 是比较前后两行的数据,如果相邻两行数据不同则认为数据不同)
- sort CUST.TXT | uniq > Target.TXT
查看Target.TXT
- 130000006800,17,151,01,250100
- 130000006800,17,151,01,250101
- 1300001077,17,151,01,256600
- 1300002764,17,151,01,256600
- 1300002764,17,151,01,256630
- 1300003690,17,151,01,256600
- 1300004771,17,151,01256600
- 1300006064,17,151,01,251900
- 130000693300,17,151,01370102690715295
- 1300013082,17,151,01,51700
发现 1300001077,17,151,01,256600 这条记录只有一条了
2 根据指定列进行去除重复行
这里的重复是指如果两行的某一列数据相同,则认为是重复数据
例如第1行与第2行数据根据域分隔符","分割的第一列(CUST_ID)
第4行与第5行数据也是CUST_ID 相同 现在我们如何去除列相同的重复项
第一步: sort 进行排序
第二步: 用awk对相邻两行数据进行比较如果第一列的数据相同则去除重复行(保留第一个相同的行,)
这里的去除重复行 并不是真正的删除重复行而是 利用unix shell 管道 对重复行的不进行重定向输出
- sort -t, -k1 CUST.TXT | awk -F, '
- {
- $1 == CUST_ID {
- }
- $1 != CUST_ID {
- CUST_ID = $1;
- print $0;
- }' > Target.TXT
运行结果如下:
- 130000006800,17,151,01,250100
- 1300001077,17,151,01,256600
- 1300002764,17,151,01,256600
- 1300003690,17,151,01,256600
- 1300004771,17,151,01256600
- 1300006064,17,151,01,251900
- 130000693300,17,151,01370102690715295
- 1300013082,17,151,01,51700
语法解释:
sort -t, -k1
-t, 指定文件记录域分隔符为","
-k1 是指根据第1列进行排序
awk -F, ' {
$1 == CUST_ID {
}
$1 != CUST_ID {
CUST_ID = $1;
print $0;
} ' > Target.TXT
-F, 指定域分隔符为","
$1 == CUST_ID 判断 第一列是否与变量 CUST_ID 相等 (不必要担心 CUST_ID变量的值 在初始化时 awk 为 CUST_ID 赋值 为"")
如果相等什么多不做
$1 != CUST_ID { CUST_ID = $1 ;print $0;} 如果 一列不等于 CUST_ID 变量的值 将 $1 赋值为 CUST_ID
然后打印 这行数据 ,然后进行下一行 比较 下一行数据与上一行数据的CUST_ID 是否相等 相等 什么都不敢 也就是说
不打印着一行 如果不相等则打印着一行 从而起到去除重复数据的作用