linux处理数据——去掉重复行&保留指定信息

小八四爱吃甜食

于 2023-07-05 14:29:51 发布

阅读量779

点赞数 1

分类专栏：开源项目文章标签： linux 服务器运维

本文链接：https://blog.csdn.net/weixin_46605479/article/details/131554944

版权

开源项目专栏收录该内容

40 篇文章 9 订阅

订阅专栏

打印指定列的信息

more info.txt  |awk -F ':' '{print $列}' |awk '{print $列}'

输出重复行

awk 'a[$0]++'  info.txt

输出不重复行

awk '!a[$0]++' info.txt

输出某路径下所有包含指定字符串的文件内容

grep -r "字符" 路径

输出文件中包含某字符的所有行

cat 'ls 路径*'

提取指定列字符并打印所有内容

awk -F " " '{if($1~/^3/) print $1,$2,$3,$4,$5,$6,$7,$8,$9,$10}' sample.vcf > samplecol.vcf  #{if($1~/^3/) print $1,$2,$3,$4,$5,$6,$7,$8,$9,$10}' 的意思是，在文件sample.vcf中，如果第一列($1)里面有匹配(~)正则表达式(/^3/)的话，那么就输出(print)到标准输出。保存到samplecol.vcf文件中。