Linux统计某一列中特定字符串的个数

最新推荐文章于 2024-07-14 21:53:39 发布
最新推荐文章于 2024-07-14 21:53:39 发布
阅读量1.5k 收藏 1
点赞数
文章标签： linux 服务器 运维
原文链接：https://www.jianshu.com/p/5a13d3d0af28
版权

打印含有pass的行
less -S 61_T2B_somatic.vcf.gz |grep -v “^#” |awk ‘{print $7}’ |grep -o “PASS” |head
PASS

统计txt中某字符的个数：
less -S 61_T2B_somatic.vcf.gz |grep -v “^#” |awk ‘{print $7}’ |grep -o “PASS” |wc -l

问题描述：想统计一下vcf文件中FILTER这一列中，是PASS的个数
我们知道，vcf文件包括的是前面很长的注释，以及后面的正文部分。注释都是以#开头的，所以我的思路是，

  1. 把正文提取出来；
  2. 然后提取其中的FILTER这一列；
  3. 最后把这一列的PASS提取出来，最后是统计个数。
  • 因为所有的注释行都是以#开头的，所以用grep -v提取非注释行，就是正文，还有一个就是“^”的用法，这个正则表达式，也是linux 中一个比较难的部分。主要是需要记住的部分很多。可以参考http://www.runoob.com/regexp/regexp-metachar.html 里面总结了各种字符。
[qiany@gm112-2 T2B]$ less -S 57_T2B_somatic.vcf.gz |grep -v '^#' |head
chrUn_JTFH01001680v1_decoy      528     .       G       A       .       clustered_events;contamination;t_lod    DP=336;ECNT=14;NLOD=3.01;N_ART_LOD=-1.041e+00;POP_AF=2.500e-06;P_CONTAM=0.908;P_GERMLINE=-9.168e+01;TLOD=4.25  GT:AD:AF:F1R2:F2R1:MBQ:MFRL:MMQ:MPOS:PGT:PID:SA_MAP_AF:SA_POST_PROB     0/0:10,0:8.505e-05:6,0:4,0:35,0:252,0:0:0:0|1:528_G_A   0/1:319,3:0.015:147,2:172,1:35,36:234,234:40:26:0|1:528_G_A:0.010,0.00,9.317e-03:8.225e-03,2.072e-03,0.990
chrUn_JTFH01001680v1_decoy      532     .       T       A       .       clustered_events;contamination;t_lod    DP=322;ECNT=14;NLOD=2.71;N_ART_LOD=-7.404e-01;POP_AF=2.500e-06;P_CONTAM=0.898;P_GERMLINE=-8.888e+01;TLOD=4.60  GT:AD:AF:F1R2:F2R1:MBQ:MFRL:MMQ:MPOS:PGT:PID:SA_MAP_AF:SA_POST_PROB     0/0:9,0:4.700e-05:5,0:4,0:34,0:254,0:0:0:0|1:528_G_A    0/1:310,3:9.632e-03:145,2:165,1:33,35:236,234:40:22:0|1:528_G_A:0.010,0.00,9.585e-03:8.677e-03,2.116e-03,0.989
chrUn_JTFH01001862v1_decoy      32      .       C       A       .       clustered_events        DP=477;ECNT=4;NLOD=3.59;N_ART_LOD=-8.451e-01;POP_AF=2.500e-06;P_CONTAM=2.127e-03;P_GERMLINE=-1.145e+02;TLOD=9.79       GT:AD:AF:F1R2:F2R1:MBQ:MFRL:MMQ:MPOS:SA_MAP_AF:SA_POST_PROB     0/0:12,0:4.012e-03:7,0:5,0:36,0:204,0:0:0       0/1:426,7:0.051:183,5:243,2:34,35:199,176:40:9:0.010,0.020,0.016:1.705e-03,0.013,0.985
chrUn_JTFH01001862v1_decoy      36      .       A       T       .       clustered_events;panel_of_normals       DP=534;ECNT=4;IN_PON;NLOD=3.61;N_ART_LOD=-1.114e+00;POP_AF=2.500e-06;P_CONTAM=0.00;P_GERMLINE=-1.061e+02;TLOD=38.63    GT:AD:AF:F1R2:F2R1:MBQ:MFRL:MMQ:MPOS:SA_MAP_AF:SA_POST_PROB     0/0:12,0:1.442e-04:7,0:5,0:38,0:204,0:0:0       0/1:457,22:0.083:204,8:253,14:35,33:195,191:40:22:0.030,0.040,0.046:4.988e-03,6.120e-03,0.989

  • 查看FILTER 这一列是第几行，可以把注释信息的最后一列提出来，就可以知道正文都包含哪些列了。数了一下发现是第7列
[qiany@gm112-2 T2B]$ less -S 57_T2B_somatic.vcf.gz |grep  '^#' |tail -1
#CHROM  POS     ID      REF     ALT     QUAL    FILTER  INFO    FORMAT  57_B    57_T
  • 然后可以用awk把第七列提取出来，其实想的是直接按照FILTER提取，但是找了一圈没有找到。
[qiany@gm112-2 T2B]$ less -S 61_T2B_somatic.vcf.gz |grep -v "^#" |awk '{print $7}' |head
contamination;mapping_quality;t_lod
clustered_events;contamination;t_lod
clustered_events;contamination;t_lod
clustered_events;contamination;t_lod
artifact_in_normal;contamination;t_lod
artifact_in_normal;str_contraction
contamination;str_contraction;t_lod
base_quality;clustered_events;t_lod
clustered_events
clustered_events

[qiany@gm112-2 T2B]$ less -S 61_T2B_somatic.vcf.gz |grep -v "^#" |awk '{print $7}' |grep -o "PASS" |head
PASS
PASS
PASS
PASS
PASS
PASS
PASS
PASS
PASS
PASS
[qiany@gm112-2 T2B]$ less -S 61_T2B_somatic.vcf.gz |grep -v "^#" |awk '{print $7}' |grep -o "PASS" |wc -l
2136

有一个问题是grep 和grep -o有什么区别呢？官方讲的是grep -o是-o, --only-matching show only the part of a line matching PATTERN，也就是说只会把字符串部分输出来。但是如果是grep的话，会把含有字符串的这一行都输出来。以下是例子

[qiany@gm112-2 T2B]$ less -S 61_T2B_somatic.vcf.gz |grep -v "^#" |awk '{print $7}' |grep  "clu" |head
clustered_events;contamination;t_lod
clustered_events;contamination;t_lod
clustered_events;contamination;t_lod
base_quality;clustered_events;t_lod
clustered_events
clustered_events
base_quality;clustered_events;multiallelic;panel_of_normals
clustered_events
base_quality;clustered_events;contamination;read_position
clustered_events;contamination

并且的话grep -o会把字符串单独输出到一行。

[qiany@gm112-2 T2B]$ less -S 61_T2B_somatic.vcf.gz |grep -v "^#" |awk '{print $7}' |grep -o  "clu" |head
clu
clu
clu
clu
clu
clu
clu
clu
clu
clu

下面的例子提现了两种方式输出的行数不一样

[qiany@gm112-2 T2B]$ less -S 61_T2B_somatic.vcf.gz |grep -v "^#" |awk '{print $7}' |grep  "_" |wc -l
54211
[qiany@gm112-2 T2B]$ less -S 61_T2B_somatic.vcf.gz |grep -v "^#" |awk '{print $7}' |grep -o  "_" |wc -l
107908

但是我的目的是统计这一列是PASS的情况，也就是说这一列中除了PASS再也没有其他的情况。所以应该是用grep，然后以PASS开始，以PASS结束

[qiany@gm112-2 T2B]$  less -S 61_T2B_somatic.vcf.gz |grep -v "^#" |awk '{print $7}' |grep "^PASS$" |wc -l
2136

我要统计很多个文件的话，就可以写成shell脚本了。

for i in {10,20,23,24,29,3,35,39,44,5,6,61,65,8,52,55,57,58,59}
do 
echo -n "${i}_T2B_somatic.vcf.gz " #不换行的方式1
echo -e "the number is \c"  #不换行的方式2
less -S ${i}_T2B_somatic.vcf.gz |grep -v "^#" |awk '{print $7}' |grep "^PASS$" |wc -l
done

[qiany@gm112-2 T2B]$ sh countpsaanum.sh
10_T2B_somatic.vcf.gz the number is 470
20_T2B_somatic.vcf.gz the number is 294
23_T2B_somatic.vcf.gz the number is 467
24_T2B_somatic.vcf.gz the number is 487
29_T2B_somatic.vcf.gz the number is 306
3_T2B_somatic.vcf.gz the number is 258
35_T2B_somatic.vcf.gz the number is 249
39_T2B_somatic.vcf.gz the number is 427
44_T2B_somatic.vcf.gz the number is 366
5_T2B_somatic.vcf.gz the number is 729
6_T2B_somatic.vcf.gz the number is 432
61_T2B_somatic.vcf.gz the number is 2136
65_T2B_somatic.vcf.gz the number is 308
8_T2B_somatic.vcf.gz the number is 1776
52_T2B_somatic.vcf.gz the number is 371
55_T2B_somatic.vcf.gz the number is 447
57_T2B_somatic.vcf.gz the number is 281
58_T2B_somatic.vcf.gz the number is 253
59_T2B_somatic.vcf.gz the number is 262

这里用了echo输出不换行的两种方式，参考的是https://www.cnblogs.com/qingtouniao/p/6667874.html。

但是个人还是比较习惯Python的方式。

#!/usr/bin/env python
import re
for i in  {10,20,23,24,29,3,35,39,44,5,6,61,65,8,52,55,57,58,59}:
    num = 0
    infile = open( "10_T2B_somatic.vcf.gz", "r")
    for line in infile:
        if re.match("^#", line) is None:
            if line.split()[6] == "PASS":
                num = num + 1
    print("10_T2B_somatic.vcf.gz is" + num)
    infile.close()

[qiany@gm112-2 T2B]$ python counttest.py
Traceback (most recent call last):
  File "counttest.py", line 6, in <module>
    for line in infile:
  File "/thinker/globe/udata/big/software/anaconda3/lib/python3.6/codecs.py", line 321, in decode
    (result, consumed) = self._buffer_decode(data, self.errors, final)
UnicodeDecodeError: 'utf-8' codec can't decode byte 0x8b in position 1: invalid start byte

出现这个报错，我搜索了一下好像是因为python 不能直接对gz压缩文件进行处理，https://www.cnblogs.com/chyu/p/4558782.html
于是在网上找到了一个代码参考的是https://blog.csdn.net/zhangchilei/article/details/46313315?utm_source=blogxgwz7
思路就是定义一个函数，来读这个gz，但是又不解压这个gz

import re
import os
import os.path
import gzip
def read_gz_file(path):
    if os.path.exists(path):
        with gzip.open(path, 'r') as infile:
            for line in infile:
                yield line
    else:
        print('the path [{}] is not exist!'.format(path))
num = 0
con = read_gz_file("/thinker/globe/udata/big/qiany/gliomas/wes/gatkvcf/mutect2/T2B/10_T2B_somatic.vcf.gz")
if getattr(con, '__iter__', None):
    for line in con:
        if re.match("^#", line) is None:
            if line.split()[6] == "PASS":
                num = num + 1
    print("10_T2B_somatic.vcf.gz is " + str(num))  

[qiany@gm112-2 T2B]$ python2 counttest.py
10_T2B_somatic.vcf.gz is 470

但是还是有问题，当我用Python2的时候，是能够运行的，但是用python3却提示错误。

[qiany@gm112-2 T2B]$ python3 counttest.py
Traceback (most recent call last):
  File "counttest.py", line 17, in <module>
    if re.match("^#", line) is None:
  File "/thinker/globe/udata/big/software/anaconda3/lib/python3.6/re.py", line 172, in match
    return _compile(pattern, flags).match(string)
TypeError: cannot use a string pattern on a bytes-like object

查了一下原因说是py3的urlopen返回的不是string是bytes所以需要在正则表达式之前加一个编码

#coding=utf-8
import re
import os
import os.path
import gzip
def read_gz_file(path):
    if os.path.exists(path):
        with gzip.open(path, 'r') as infile:
            for line in infile:
                yield line
    else:
        print('the path [{}] is not exist!'.format(path))
num = 0
con = read_gz_file("/thinker/globe/udata/big/qiany/gliomas/wes/gatkvcf/mutect2/T2B/10_T2B_somatic.vcf.gz")
if getattr(con, '__iter__', None):
    for line in con:
        line = line.decode('utf-8')  #这里py3的urlopen返回的不是string是bytes，所以需要加入decode('utf-8') 编码
        if re.match("^#", line) is None:
            if line.split()[6] == "PASS":
                num = num + 1
    print("10_T2B_somatic.vcf.gz is " + str(num))       
[qiany@gm112-2 T2B]$ python3 counttest.py
10_T2B_somatic.vcf.gz is 470

再把原来的循环加上

#coding=utf-8
import re
import os
import os.path
import gzip
def read_gz_file(path):
    if os.path.exists(path):
        with gzip.open(path, 'r') as infile:
            for line in infile:
                yield line
    else:
        print('the path [{}] is not exist!'.format(path))
for i in  {10,20,23,24,29,3,35,39,44,5,6,61,65,8,52,55,57,58,59}:
    num = 0
    con = read_gz_file("/thinker/globe/udata/big/qiany/gliomas/wes/gatkvcf/mutect2/T2B/" + str(i) + "_T2B_somatic.vcf.gz")
    if getattr(con, '__iter__', None):
        for line in con:
            line = line.decode('utf-8')
            if re.match("^#", line) is None:
                if line.split()[6] == "PASS":
                    num = num + 1
    print(str(i) + "_T2B_somatic.vcf.gz is " + str(num))

运行一下结果

[qiany@gm112-2 T2B]$ python3 counttest.py
65_T2B_somatic.vcf.gz is 308
3_T2B_somatic.vcf.gz is 258
35_T2B_somatic.vcf.gz is 249
5_T2B_somatic.vcf.gz is 729
6_T2B_somatic.vcf.gz is 432
39_T2B_somatic.vcf.gz is 427
8_T2B_somatic.vcf.gz is 1776
10_T2B_somatic.vcf.gz is 470
44_T2B_somatic.vcf.gz is 366
61_T2B_somatic.vcf.gz is 2136
20_T2B_somatic.vcf.gz is 294
52_T2B_somatic.vcf.gz is 371
55_T2B_somatic.vcf.gz is 447
23_T2B_somatic.vcf.gz is 467
24_T2B_somatic.vcf.gz is 487
57_T2B_somatic.vcf.gz is 281
58_T2B_somatic.vcf.gz is 253
59_T2B_somatic.vcf.gz is 262
29_T2B_somatic.vcf.gz is 306

这个结果与shell是一致的。

https://www.e-learn.cn/content/python/870620
yield解释 https://blog.csdn.net/mieleizhi0522/article/details/82142856
参考：
https://www.cnblogs.com/ywl925/p/3947778.html
https://www.cnblogs.com/qingtouniao/p/6667874.html

Python大视觉
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
在字符串中统计特定字符串的个数
张翠山的博客
11-22 3622
我不是大神，也不是天才，所以，很多东西都是靠自己的后生努力才能获得。
Linux 统计文件中字符串出现次数
jack
10-28 3713
最近准备跳槽，面试一家公司的时候被问到linux常用命令，比如一个日志文件我要统计某字符串一共出现了几次，由于很久没弄linux有点懵，回来赶紧补知识并记录一下。 网上资料有很多，我主要看了三种grep -o /grep -n /awk grep -o 一条数据里面有多个相同，会统计相同的次数 grep 一条数据里面有多个相同，会统计一次次数 wc [选项] 文件 -c 统计字节数 -l 统计行数 -w 统计字数 为了测试也刚好正打开了StringWriter这个java类，便创建...
linux shell：如何用awk命令查看csv文件中是否有多于首行字段数的行
软件测试技能栈
10-11 6412
思路是： 1 查看csv第一行的字段数，逗号(,)是分隔符。 2 从第二行开始，判断字段数是否大于第一行的字段数，如果有，输出行号和行字段。   脚本如下： head -1 c.csv | awk -F ',' '{print NF;n=NF;print n}' ca
Linux统计一个文件中特定字符个数的方法
01-20
统计一个文件中某个字符串的个数，其实就是在在一块沙地里面找石头，有的人看到石头以后，在上面做个标记（grep），然后记住自己做了多少个标记；有的人看到石头以后，把它挖了（tr），最后统计自己挖了多少石头；有的人看到石头以后，把它跳过去（awk），然后统计自己跳了多少次。 这是我用的的文件 [root@bzhou test]# cat file hafsdha hahafsdfsdhaha haha 我想匹配的是‘haha’这个字符串 1.grep的-o选项 [root@bzhou test]# grep -c 'haha' file 2 最开始的时候是用-c这个选项，不过-c只能统计一行的
awk常用统计命令
dujidan的博客
10-13 365
【代码】awk常用统计命令。
linux计算字符串个数,Linux 统计某个字符串个数的方法
weixin_29811891的博客
04-28 3977
在 Linux 系统下，有时候，我们可能要对一个日志文件进行分析。比如，分析日志文件中某个单词或者某个特殊字符串出现了多少次。对于匹配统计，一般用到正则方法，下面总结了几个统计字符串个数的方法。方法一：使用 grep 命令grep -o '字符串' file |wc -l方法二：使用awk命令进行统计awk -v RS="@#$j" '{print gsub(/字符串/,"&")}' fi...
shell统计每一行字符数的三种方法
qq_36608036的博客
09-14 2480
shell按行统计字符数
几种统计字符串个数的方法
NANA170110的博客
11-17 2938
1.vim命令下统计字符串个数。 vim进入文件之后，输入下面命令，可统计出该文件中targetstring的个数。 :%s/targetstring//gn 2.awk命令统计字符串个数。 awk-v RS='(targetstring)' 'END {print --NR}' file 可查询file文件中（targetstring）的数量并print出来。 如
使用php统计字符串中中英文字符的个数
10-27
在PHP编程语言中，统计字符串中中英文字符的个数是一项常见的任务，特别是在处理用户输入、文本分析或者数据处理的场景。本篇文章将详细介绍如何利用PHP实现这一功能，通过正则表达式对字符串进行匹配，从而计算出...
linux下wc统计文件的个数、行数、字数、字节数等信息方法
01-20
Linux系统中的wc(Word Count)命令的功能为统计指定文件中的字节数、字数、行数，并将统计结果显示输出。 1．命令格式： wc [选项]文件… 2．命令功能： 统计指定文件中的字节数、字数、行数，并将统计结果显示输出。该命令统计指定文件中的字节数、字数、行数。如果没有给出文件名，则从标准输入读取。wc同时也给出所指定文件的总统计数。 3．命令参数： -c 统计字节数。 -l 统计行数。 -m 统计字符数。这个标志不能与 -c 标志一起使用。 -w 统计字数。一个字被定义为由空白、跳格或换行字符分隔的字符串。 -L 打印最长行的长度。 -help 显示帮助信息 –version
js实现统计字符串中特定字符出现个数的方法
10-21
在JavaScript编程语言中，统计字符串中特定字符出现的次数是一个常见的需求，这涉及到字符串操作和正则表达式等基础知识。本文将深入探讨如何利用JavaScript来实现这个功能，并提供一个具体的函数示例，以及相关的...
SQL Server 将某一列的值拼接成字符串.docx
11-07
在SQL Server中，将某一列的值拼接成字符串是一个常见的需求，这通常涉及到数据的格式化输出，比如创建报告或者导出数据。这个过程可以通过几种不同的方法来实现，其中包括使用FOR XML PATH子句和CONCAT函数。我们将...
文件查找指定内容和数量linux
lzh2018的博客
11-28 781
查找指定内容的日志: cat xxx.php|grep'查找内容'|less 统计数量 ： cat xxx.php|grep'查找内容'| wc -l 查找指定进程并杀死 ps -ef | grep php | grep -v | awk '{print $2}' |xargs kill -9 ...
linux统计一个文件中特定字符的个数
小海的专栏
05-15 2948
统计一个文件中某个字符串的个数，其实就是在在一块沙地里面找石头，有的人看到石头以后，在上面做个标记（grep），然后记住自己做了多少个标记；有的 人看到石头以后，把它挖了（tr），最后统计自己挖了多少石头；有的人看到石头以后，把它跳过去（awk），然后统计自己跳了多少次。 这是我用的的文件 [root@bzhou test]# cat file hafsdha hahaf
Linux命令之统计文件字数、字符数、字节数及行数信息wc
热门推荐
二木成林
06-11 1万+
`wc` 命令用于统计指定文件中的字节数、字数、行数，并将统计结果显示输出。`wc` 是 `word count` 的缩写。
linux vi 统计数量,linux命令统计文件中某个字符串出现的次数
weixin_29150151的博客
05-14 3527
1、使用greplinux grep命令在我的随笔linux分类里有过简单的介绍，这里就只简单的介绍下使用grep命令统计某个文件这某个字符串出现的次数，首先介绍grep命令的几个参数，详细参数请自行找资料学习。-a 或 --text: 不要忽略二进制的数据。-A 或 --after-context=: 除了显示符合范本样式的那一列之外，并显示该行之后的内容。-b 或 --byte-offse...
linux 统计文件字节和行数,Linux命令-统计文件中的字节数、字数、行数：wc
weixin_36213081的博客
05-07 7587
Linux系统中的wc(Word Count)命令的功能为统计指定文件中的字节数、字数、行数，并将统计结果显示输出。1．命令格式：wc [选项]文件...2．命令功能：统计指定文件中的字节数、字数、行数，并将统计结果显示输出。该命令统计指定文件中的字节数、字数、行数。如果没有给出文件名，则从标准输入读取。wc同时也给出所指定文件的总统计数。3．命令参数：-c 统计字节数。-l 统计行数。-m 统计...
接着探索Linux的世界 -- 基本指令（文件查看、时间相关、打包压缩等等）
最新发布
weixin_73359101的博客
07-14 1669
命令输出到某个指定文件中，而不是输出到终端屏幕或终端窗口。我们从键盘输入什么，cat命令就打印什么。命令 + >> + 目标文件名。： 将命令的结果写入目标文件中；这两条指令的作用等价。
C语言从键盘输入一串字符，统计字符串中特定字符的个数
05-30
好的，这个问题我可以回答。假设我们要统计字符串中字符 'a' 的个数，可以使用以下代码： ```c #include <stdio.h> int main() { char str[100]; char target = 'a'; int count = 0; printf("请输入一个字符串："); scanf("%s", str); for (int i = 0; str[i] != '\0'; i++) { if (str[i] == target) { count++; } } printf("字符串中字符 '%c' 的个数为：%d", target, count); return 0; } ``` 上述代码中，我们首先定义了一个字符数组 `str`，用于存储用户输入的字符串，同时定义一个目标字符 `target` 和一个计数器 `count`。然后，通过 `scanf` 函数从键盘读入用户输入的字符串。 接下来，我们使用 `for` 循环遍历字符串中的每个字符，如果当前字符等于目标字符，则将计数器加一。最后，输出结果即可。 需要注意的是，上述代码没有对用户输入的字符串长度进行限制，如果用户输入的字符串长度超过了数组 `str` 的长度，有可能会导致数组越界错误。为了避免这种情况，可以使用 `fgets` 函数读取用户输入的字符串，并指定最大读入长度。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值