用Linux命令统计文件内容

近来用Cygwin中的Linux命令解决了很多Windows平台下的日常问题。比如下面要讨论的一个简单问题：统计文件中包含某段文件的行有多少。

1用Grep命令解决

grep "getPosPrice" 13_tp.log |cut -d "," -f 3 | grep"\"processState\":\"0\"" | wc -l

cut命令简介：

cut -d "," -f 3 13_tp.log

-d：按分隔符切割

-f：取第几列

2用Sed过滤行

Sed的强大在过滤行时体现的还不是很明显，在对行进行删除、替换、追加等操作时，Sed的优势体会的淋漓尽致。下面转载下另一篇文章中的例子，来一窥Sed强大之处。

举例：（假设我们有一文件名为ab）
删除某行
[root@localhost ruby]# sed'1d' ab#删除第一行
[root@localhost ruby]# sed'$d' ab#删除最后一行
[root@localhost ruby]# sed'1,2d' ab#删除第一行到第二行
[root@localhost ruby]# sed'2,$d' ab #删除第二行到最后一行

　　显示某行
. [root@localhost ruby]# sed -n '1p' ab#显示第一行
[root@localhost ruby]# sed -n'$p' ab #显示最后一行
[root@localhost ruby]# sed -n'1,2p' ab #显示第一行到第二行
[root@localhost ruby]# sed -n'2,$p' ab #显示第二行到最后一行

　　使用模式进行查询
[root@localhost ruby]# sed -n'/ruby/p' ab #查询包括关键字ruby所在所有行
[root@localhost ruby]# sed -n'/\$/p' ab #查询包括关键字$所在所有行，使用反斜线\屏蔽特殊含义

　　增加一行或多行字符串
[root@localhost ruby]# cat ab
Hello!
ruby is me,welcome to my blog.
end
[root@localhost ruby]# sed '1adrink tea' ab#第一行后增加字符串"drinktea"
Hello!
drink tea
ruby is me,welcome to my blog.
end
[root@localhost ruby]# sed'1,3a drink tea' ab#第一行到第三行后增加字符串"drink tea"
Hello!
drink tea
ruby is me,welcome to my blog.
drink tea
end
drink tea
[root@localhost ruby]# sed '1adrink tea\nor coffee' ab#第一行后增加多行，使用换行符\n
Hello!
drink tea
or coffee
ruby is me,welcome to my blog.
end

　　代替一行或多行
[root@localhost ruby]# sed '1cHi'ab#第一行代替为Hi
Hi
ruby is me,welcome to my blog.
end
[root@localhost ruby]# sed'1,2c Hi'ab#第一行到第二行代替为Hi
Hi
end

　　替换一行中的某部分
　　格式：sed's/要替换的字符串/新的字符串/g' （要替换的字符串可以用正则表达式）
[root@localhost ruby]# sed -n'/ruby/p' ab | sed 's/ruby/bird/g' #替换ruby为bird
　 [root@localhost ruby]# sed -n '/ruby/p'ab | sed 's/ruby//g'#删除ruby

插入
[root@localhost ruby]# sed -i'$a bye' ab#在文件ab中最后一行直接输入"bye"
[root@localhost ruby]# cat ab
Hello!
ruby is me,welcome to my blog.
end
bye

3强大的Awk

通过-f参数可以达到cut命令的效果

awk –F “,” ‘{print $3}’ 13_tp.log

上面对文件行的过滤也都可以由awk来完成，甚至可以统计出现某段文字的行与未出现行的比例等各种复杂需求。

awk -F ","'BEGIN{s0=0;s1=0}{if($1 ~ "getPosPrice")

{if($3=="\"processState\":\"0\""){s0++}else{s1++}}}END{prints0,s1}' 13_tp.log

格式化后的结构如下：

awk -F "," 'BEGIN { s0=0;s1=0 } {

if ($1 ~"getPosPrice") {

if ($3=="\"processState\":\"0\"") {

s0++

}

else {

s1++

}

}

} END { print s0,s1 }' 13_tp.log

参考资料

linux之sed用法

http://www.cnblogs.com/dong008259/archive/2011/12/07/2279897.html