linux 统计 字符串个数字,Linux统计某一列中特定字符串的个数

最新推荐文章于 2021-12-14 22:45:07 发布
最新推荐文章于 2021-12-14 22:45:07 发布
阅读量439 收藏
点赞数
文章标签： linux 统计 字符串个数字

问题描述：想统计一下vcf文件中FILTER这一列中，是PASS的个数

我们知道，vcf文件包括的是前面很长的注释，以及后面的正文部分。注释都是以#开头的，所以我的思路是，

把正文提取出来；

然后提取其中的FILTER这一列；

最后把这一列的PASS提取出来，最后是统计个数。

因为所有的注释行都是以#开头的，所以用grep -v提取非注释行，就是正文，还有一个就是“^”的用法，这个正则表达式，也是linux 中一个比较难的部分。主要是需要记住的部分很多。可以参考http://www.runoob.com/regexp/regexp-metachar.html 里面总结了各种字符。

[qiany@gm112-2 T2B]$ less -S 57_T2B_somatic.vcf.gz |grep -v '^#' |head

chrUn_JTFH01001680v1_decoy 528 . G A . clustered_events;contamination;t_lod DP=336;ECNT=14;NLOD=3.01;N_ART_LOD=-1.041e+00;POP_AF=2.500e-06;P_CONTAM=0.908;P_GERMLINE=-9.168e+01;TLOD=4.25 GT:AD:AF:F1R2:F2R1:MBQ:MFRL:MMQ:MPOS:PGT:PID:SA_MAP_AF:SA_POST_PROB 0/0:10,0:8.505e-05:6,0:4,0:35,0:252,0:0:0:0|1:528_G_A 0/1:319,3:0.015:147,2:172,1:35,36:234,234:40:26:0|1:528_G_A:0.010,0.00,9.317e-03:8.225e-03,2.072e-03,0.990

chrUn_JTFH01001680v1_decoy 532 . T A . clustered_events;contamination;t_lod DP=322;ECNT=14;NLOD=2.71;N_ART_LOD=-7.404e-01;POP_AF=2.500e-06;P_CONTAM=0.898;P_GERMLINE=-8.888e+01;TLOD=4.60 GT:AD:AF:F1R2:F2R1:MBQ:MFRL:MMQ:MPOS:PGT:PID:SA_MAP_AF:SA_POST_PROB 0/0:9,0:4.700e-05:5,0:4,0:34,0:254,0:0:0:0|1:528_G_A 0/1:310,3:9.632e-03:145,2:165,1:33,35:236,234:40:22:0|1:528_G_A:0.010,0.00,9.585e-03:8.677e-03,2.116e-03,0.989

chrUn_JTFH01001862v1_decoy 32 . C A . clustered_events DP=477;ECNT=4;NLOD=3.59;N_ART_LOD=-8.451e-01;POP_AF=2.500e-06;P_CONTAM=2.127e-03;P_GERMLINE=-1.145e+02;TLOD=9.79 GT:AD:AF:F1R2:F2R1:MBQ:MFRL:MMQ:MPOS:SA_MAP_AF:SA_POST_PROB 0/0:12,0:4.012e-03:7,0:5,0:36,0:204,0:0:0 0/1:426,7:0.051:183,5:243,2:34,35:199,176:40:9:0.010,0.020,0.016:1.705e-03,0.013,0.985

chrUn_JTFH01001862v1_decoy 36 . A T . clustered_events;panel_of_normals DP=534;ECNT=4;IN_PON;NLOD=3.61;N_ART_LOD=-1.114e+00;POP_AF=2.500e-06;P_CONTAM=0.00;P_GERMLINE=-1.061e+02;TLOD=38.63 GT:AD:AF:F1R2:F2R1:MBQ:MFRL:MMQ:MPOS:SA_MAP_AF:SA_POST_PROB 0/0:12,0:1.442e-04:7,0:5,0:38,0:204,0:0:0 0/1:457,22:0.083:204,8:253,14:35,33:195,191:40:22:0.030,0.040,0.046:4.988e-03,6.120e-03,0.989

查看FILTER 这一列是第几行，可以把注释信息的最后一列提出来，就可以知道正文都包含哪些列了。数了一下发现是第7列

[qiany@gm112-2 T2B]$ less -S 57_T2B_somatic.vcf.gz |grep '^#' |tail -1

#CHROM POS ID REF ALT QUAL FILTER INFO FORMAT 57_B 57_T

然后可以用awk把第七列提取出来，其实想的是直接按照FILTER提取，但是找了一圈没有找到。

[qiany@gm112-2 T2B]$ less -S 61_T2B_somatic.vcf.gz |grep -v "^#" |awk '{print $7}' |head

contamination;mapping_quality;t_lod

clustered_events;contamination;t_lod

clustered_events;contamination;t_lod

clustered_events;contamination;t_lod

artifact_in_normal;contamination;t_lod

artifact_in_normal;str_contraction

contamination;str_contraction;t_lod

base_quality;clustered_events;t_lod

clustered_events

clustered_events

[qiany@gm112-2 T2B]$ less -S 61_T2B_somatic.vcf.gz |grep -v "^#" |awk '{print $7}' |grep -o "PASS" |head

PASS

PASS

PASS

PASS

PASS

PASS

PASS

PASS

PASS

PASS

[qiany@gm112-2 T2B]$ less -S 61_T2B_somatic.vcf.gz |grep -v "^#" |awk '{print $7}' |grep -o "PASS" |wc -l

2136

有一个问题是grep 和grep -o有什么区别呢？官方讲的是grep -o是-o, --only-matching show only the part of a line matching PATTERN，也就是说只会把字符串部分输出来。但是如果是grep的话，会把含有字符串的这一行都输出来。以下是例子

[qiany@gm112-2 T2B]$ less -S 61_T2B_somatic.vcf.gz |grep -v "^#" |awk '{print $7}' |grep "clu" |head

clustered_events;contamination;t_lod

clustered_events;contamination;t_lod

clustered_events;contamination;t_lod

base_quality;clustered_events;t_lod

clustered_events

clustered_events

base_quality;clustered_events;multiallelic;panel_of_normals

clustered_events

base_quality;clustered_events;contamination;read_position

clustered_events;contamination

并且的话grep -o会把字符串单独输出到一行。

[qiany@gm112-2 T2B]$ less -S 61_T2B_somatic.vcf.gz |grep -v "^#" |awk '{print $7}' |grep -o "clu" |head

clu

clu

clu

clu

clu

clu

clu

clu

clu

clu

下面的例子提现了两种方式输出的行数不一样

[qiany@gm112-2 T2B]$ less -S 61_T2B_somatic.vcf.gz |grep -v "^#" |awk '{print $7}' |grep "_" |wc -l

54211

[qiany@gm112-2 T2B]$ less -S 61_T2B_somatic.vcf.gz |grep -v "^#" |awk '{print $7}' |grep -o "_" |wc -l

107908

但是我的目的是统计这一列是PASS的情况，也就是说这一列中除了PASS再也没有其他的情况。所以应该是用grep，然后以PASS开始，以PASS结束

[qiany@gm112-2 T2B]$ less -S 61_T2B_somatic.vcf.gz |grep -v "^#" |awk '{print $7}' |grep "^PASS$" |wc -l

2136

我要统计很多个文件的话，就可以写成shell脚本了。

for i in {10,20,23,24,29,3,35,39,44,5,6,61,65,8,52,55,57,58,59}

do

echo -n "${i}_T2B_somatic.vcf.gz " #不换行的方式1

echo -e "the number is \c" #不换行的方式2

less -S ${i}_T2B_somatic.vcf.gz |grep -v "^#" |awk '{print $7}' |grep "^PASS$" |wc -l

done

[qiany@gm112-2 T2B]$ sh countpsaanum.sh

10_T2B_somatic.vcf.gz the number is 470

20_T2B_somatic.vcf.gz the number is 294

23_T2B_somatic.vcf.gz the number is 467

24_T2B_somatic.vcf.gz the number is 487

29_T2B_somatic.vcf.gz the number is 306

3_T2B_somatic.vcf.gz the number is 258

35_T2B_somatic.vcf.gz the number is 249

39_T2B_somatic.vcf.gz the number is 427

44_T2B_somatic.vcf.gz the number is 366

5_T2B_somatic.vcf.gz the number is 729

6_T2B_somatic.vcf.gz the number is 432

61_T2B_somatic.vcf.gz the number is 2136

65_T2B_somatic.vcf.gz the number is 308

8_T2B_somatic.vcf.gz the number is 1776

52_T2B_somatic.vcf.gz the number is 371

55_T2B_somatic.vcf.gz the number is 447

57_T2B_somatic.vcf.gz the number is 281

58_T2B_somatic.vcf.gz the number is 253

59_T2B_somatic.vcf.gz the number is 262

但是个人还是比较习惯Python的方式。

#!/usr/bin/env python

import re

for i in {10,20,23,24,29,3,35,39,44,5,6,61,65,8,52,55,57,58,59}:

num = 0

infile = open( "10_T2B_somatic.vcf.gz", "r")

for line in infile:

if re.match("^#", line) is None:

if line.split()[6] == "PASS":

num = num + 1

print("10_T2B_somatic.vcf.gz is" + num)

infile.close()

[qiany@gm112-2 T2B]$ python counttest.py

Traceback (most recent call last):

File "counttest.py", line 6, in

for line in infile:

File "/thinker/globe/udata/big/software/anaconda3/lib/python3.6/codecs.py", line 321, in decode

(result, consumed) = self._buffer_decode(data, self.errors, final)

UnicodeDecodeError: 'utf-8' codec can't decode byte 0x8b in position 1: invalid start byte

import re

import os

import os.path

import gzip

def read_gz_file(path):

if os.path.exists(path):

with gzip.open(path, 'r') as infile:

for line in infile:

yield line

else:

print('the path [{}] is not exist!'.format(path))

num = 0

con = read_gz_file("/thinker/globe/udata/big/qiany/gliomas/wes/gatkvcf/mutect2/T2B/10_T2B_somatic.vcf.gz")

if getattr(con, '__iter__', None):

for line in con:

if re.match("^#", line) is None:

if line.split()[6] == "PASS":

num = num + 1

print("10_T2B_somatic.vcf.gz is " + str(num))

[qiany@gm112-2 T2B]$ python2 counttest.py

10_T2B_somatic.vcf.gz is 470

但是还是有问题，当我用Python2的时候，是能够运行的，但是用python3却提示错误。

[qiany@gm112-2 T2B]$ python3 counttest.py

Traceback (most recent call last):

File "counttest.py", line 17, in

if re.match("^#", line) is None:

File "/thinker/globe/udata/big/software/anaconda3/lib/python3.6/re.py", line 172, in match

return _compile(pattern, flags).match(string)

TypeError: cannot use a string pattern on a bytes-like object

查了一下原因说是py3的urlopen返回的不是string是bytes所以需要在正则表达式之前加一个编码

#coding=utf-8

import re

import os

import os.path

import gzip

def read_gz_file(path):

if os.path.exists(path):

with gzip.open(path, 'r') as infile:

for line in infile:

yield line

else:

print('the path [{}] is not exist!'.format(path))

num = 0

con = read_gz_file("/thinker/globe/udata/big/qiany/gliomas/wes/gatkvcf/mutect2/T2B/10_T2B_somatic.vcf.gz")

if getattr(con, '__iter__', None):

for line in con:

line = line.decode('utf-8') #这里py3的urlopen返回的不是string是bytes，所以需要加入decode('utf-8') 编码

if re.match("^#", line) is None:

if line.split()[6] == "PASS":

num = num + 1

print("10_T2B_somatic.vcf.gz is " + str(num))

[qiany@gm112-2 T2B]$ python3 counttest.py

10_T2B_somatic.vcf.gz is 470

再把原来的循环加上

#coding=utf-8

import re

import os

import os.path

import gzip

def read_gz_file(path):

if os.path.exists(path):

with gzip.open(path, 'r') as infile:

for line in infile:

yield line

else:

print('the path [{}] is not exist!'.format(path))

for i in {10,20,23,24,29,3,35,39,44,5,6,61,65,8,52,55,57,58,59}:

num = 0

con = read_gz_file("/thinker/globe/udata/big/qiany/gliomas/wes/gatkvcf/mutect2/T2B/" + str(i) + "_T2B_somatic.vcf.gz")

if getattr(con, '__iter__', None):

for line in con:

line = line.decode('utf-8')

if re.match("^#", line) is None:

if line.split()[6] == "PASS":

num = num + 1

print(str(i) + "_T2B_somatic.vcf.gz is " + str(num))

运行一下结果

[qiany@gm112-2 T2B]$ python3 counttest.py

65_T2B_somatic.vcf.gz is 308

3_T2B_somatic.vcf.gz is 258

35_T2B_somatic.vcf.gz is 249

5_T2B_somatic.vcf.gz is 729

6_T2B_somatic.vcf.gz is 432

39_T2B_somatic.vcf.gz is 427

8_T2B_somatic.vcf.gz is 1776

10_T2B_somatic.vcf.gz is 470

44_T2B_somatic.vcf.gz is 366

61_T2B_somatic.vcf.gz is 2136

20_T2B_somatic.vcf.gz is 294

52_T2B_somatic.vcf.gz is 371

55_T2B_somatic.vcf.gz is 447

23_T2B_somatic.vcf.gz is 467

24_T2B_somatic.vcf.gz is 487

57_T2B_somatic.vcf.gz is 281

58_T2B_somatic.vcf.gz is 253

59_T2B_somatic.vcf.gz is 262

29_T2B_somatic.vcf.gz is 306

这个结果与shell是一致的。

治治吱吱芝芝之
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
C#统计字符串中数字个数的方法
09-03
在C#编程中，有时我们需要统计一个字符串中包含的数字个数。这在处理用户输入、数据分析或格式检查等场景中非常有用。本篇将详细解释如何使用C#语言实现这个功能，包括遍历字符串、判断字符是否为数字以及返回数字的...
Linux统计一个文件中特定字符个数的方法
09-15
在Linux系统中，统计一个文件中特定字符或字符串的出现次数是常见的操作，这对于日志分析、文本处理等任务尤其有用。以下将详细介绍三种方法来完成这个任务：grep、awk和tr。 首先，我们来看使用`grep`命令的方法。...
linux 统计某一列都有啥,linux小计，统计文件中包含指定字符串的行数
weixin_34576293的博客
05-25 205
该楼层疑似违规已被系统折叠隐藏此楼查看此楼Linux, the kernel developed and distributed by Linus Torvalds et al, contains non-Free Software, i.e., software that does not respect your essential freedoms, and it induces you ...
linux计算文档每行出现的数字个数，并计算整个文档的数字总数
崔崇鑫的博客，你linux/云运维工作中的百科全书。
04-29 1022
文章目录执行结果代码 执行结果 代码 [root@centos76_1 ccx]# cat num.sh #!/bin/bash ######################################################### #计算文档每行出现的数字个数，并计算整个文档的数字总数 ######################################################## # 需要统计的文档路径 file=/data/test2 #使用awk只输出文档行数（截取
Linux统计文件中指定字符串个数
Jackie 的博客
04-08 2082
统计一个文件中某个字符串的个数，其实就像在一块沙地里面找一块石头，有的人看到石头以后，在上面做个标记（grep），然后记住自己做了多少个标记；有的人看到石头以后，把它跳过去（awk），然后统计自己跳了多少次。 方法1: grep(使用 -o) #grep #-o, --only matching show only the part of a line matching PATTER...
求列表中个元素的数量
DongHappyyy
04-13 3743
# 求列表中个元素的数量 lists = [1, 2, 3, 4, 5, 6, 7, 5, 4, 3, 2, 12] # 方法一：字典推导式(速度较快，优先推荐) dicts = {x: lists.count(x) for x in set(lists)} print(dicts) # >>> {1: 1, 2: 2, 3: 2, 4: 2, 5: 2, 6: 1, 7: 1, 12: 1} ...
Linux | awk命令查找文件中某列的值，符合内容进行筛选
qq_50637636的博客
11-22 6966
awk是Linux自带的文件内容筛选工具，awk可以对文件内容进行切片输出，提取出我们想要的内容。 awk使用格式：awk [option] ‘条件{print ${num}}’ 。 现在我想将上图所示的.gtf文件中的第一、四、五、十列提出出来，要求第三列的值必须为“transcript”，可以通过awk命令实现。 cat Female.merge.gtf | awk '$3=="transcript"{printf $1 "\t" $4 "\t" $5 "\t" $10"\n" }'> Tden
js实现统计字符串中特定字符出现个数的方法
10-21
在JavaScript编程语言中，统计字符串中特定字符出现的次数是一个常见的需求，这涉及到字符串操作和正则表达式等基础知识。本文将深入探讨如何利用JavaScript来实现这个功能，并提供一个具体的函数示例，以及相关的...
使用php统计字符串中中英文字符的个数
10-27
在PHP编程语言中，统计字符串中中英文字符的个数是一项常见的任务，特别是在处理用户输入、文本分析或者数据处理的场景。本篇文章将详细介绍如何利用PHP实现这一功能，通过正则表达式对字符串进行匹配，从而计算出...
Linux 命令
Free Bar
09-03 8460
linux 查看系统信息命令是linux初学者必备的基础知识, 这些命令也非常有用, 因为进入linux第一件事就可能是首先查看系统信息, 因此必要的系统的学习一下这些linux系统信息命令还是非常有必要的! 下面给除了各linux发行版比较常用的系统信息查询的命令, 大家可以参考, 同时也可以测试学习, 必要的时候man, 一定要学学使用man命令, 呵呵 # uname -a #
Linux统计某一列中特定字符串的个数
尚拙的博客
12-03 1591
打印含有pass的行 less -S 61_T2B_somatic.vcf.gz |grep -v “^#” |awk ‘{print $7}’ |grep -o “PASS” |head PASS 统计txt中某字符的个数： less -S 61_T2B_somatic.vcf.gz |grep -v “^#” |awk ‘{print $7}’ |grep -o “PASS” |wc -l 问题描述：想统计一下vcf文件中FILTER这一列中，是PASS的个数 我们知道，vcf文件包括的是前面很长的注释
linux计算字符串个数,Linux 统计某个字符串个数的方法
weixin_29811891的博客
04-28 3977
在 Linux 系统下，有时候，我们可能要对一个日志文件进行分析。比如，分析日志文件中某个单词或者某个特殊字符串出现了多少次。对于匹配统计，一般用到正则方法，下面总结了几个统计字符串个数的方法。方法一：使用 grep 命令grep -o '字符串' file |wc -l方法二：使用awk命令进行统计awk -v RS="@#$j" '{print gsub(/字符串/,"&")}' fi...
几种统计字符串个数的方法
NANA170110的博客
11-17 2938
1.vim命令下统计字符串个数。 vim进入文件之后，输入下面命令，可统计出该文件中targetstring的个数。 :%s/targetstring//gn 2.awk命令统计字符串个数。 awk-v RS='(targetstring)' 'END {print --NR}' file 可查询file文件中（targetstring）的数量并print出来。 如
Linux 文本 列数 统计
热门推荐
qq_40256654的博客
05-31 2万+
Linux 文本 列数统计 方法一：（非等列数据统计） $cat 1.txt | awk '{print NF}' 4 4 4 方法二：（前提是等列数据表） $cat 1.txt | awk 'END{print NF}' 4 awk默认的字段分隔符是空格或制表符(tab)，如果你的是其它符号的话，就使用-F参数指定， 例如：cat 文件名 | awk ...
Linux统计文本中某个字符串出现的次数
weixin_30414245的博客
03-15 1308
常用的有如下两种方式： 1.VIM 用vim打开文件，然后输入： :%s/hello//gn 如下图： 图中的例子就是统计文本中”hello”字符串出现的次数 2.GREP配合wc命令 grep -o "hello" demo.log | wc -l 如下图： 另外附上几个grep常用的参数： -c 只显示有多少行匹配 ，而不具体显示匹配的行 -i 在字符串比较的时候忽略大小写 -n 在每一行...
linux统计一个文件中特定字符的个数
小海的专栏
05-15 2948
统计一个文件中某个字符串的个数，其实就是在在一块沙地里面找石头，有的人看到石头以后，在上面做个标记（grep），然后记住自己做了多少个标记；有的 人看到石头以后，把它挖了（tr），最后统计自己挖了多少石头；有的人看到石头以后，把它跳过去（awk），然后统计自己跳了多少次。 这是我用的的文件 [root@bzhou test]# cat file hafsdha hahaf
hadoop 文本统计一个字符的个数_Linux统计文本中某个字符串出现的次数
weixin_39973416的博客
12-30 220
常用的有如下两种方式：1.VIM用vim打开文件，然后输入：:%s/hello//gn如下图：图中的例子就是统计文本中”hello”字符串出现的次数说明：%s/pattern/string/flags 意思是把pattern替换为string参数说明：% - 指明操作区间，%表示全文本；可以使用1,$或者行区间代替 %s相当于1,$ss – substitute，表示替换g是全局pattern ...
Linux Shell之统计某个字符串在文件中的出现次数
二木成林
12-14 8737
Linux Shell之统计某个字符串在文件中的出现次数
用C语言统计一个字符串中数字字符的个数。
最新发布
04-22
好的，下面是用C语言统计一个字符串中数字字符的个数的代码： ```c #include #include #include int main() { char str[100]; int len, i, count = 0; printf("请输入一个字符串：\n"); scanf("%s", str);...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值