在linux中处理文件的命令有sed、awk、grep、tr等,而对于去重复排序的命令有sort、uniq等,在处理文件时首先要考虑的是文本的结构是否存在规律。
问题中是需要对单词及字母进行排序,这里需要考虑的问题是单词中是否存在大写字母?单词是否和标点符号连接?
如果需要统计排序的是字符串,我们可以使用下面的命令。
[root@api ~]# echo ${str,,}|sed 's/[^a-z]/ /g'|tr ' ' '\n'|sort|uniq -c|sort -nk1 -r
如果需要统计的是文件,我们可以这个命令。
[root@api ~]# cat file|tr '[A-Z]' '[a-z]'|sed 's/[^a-z]/ /g'|tr ' ' '\n'|sort|uniq -c|sort -nk1 -r
管道【|】,可以将上一个命令的输出做为管道后面命令的输入,从上面的命令就很好的看出了每一步管道符号的作用。
下面解释下每一个处理的命令。
#echo ${a,,}
在bash 4+ 版本以后字符串本身就可以完成大小写转换。
#echo ${str^^}
同样也可以使用tr命令来替换大小写字母,比如:
#echo xxxx | tr '[a-z]' '[A-Z]'
#echo XXX | tr '[A-Z]' '[a-z]'
sed 命令是高效处理文本的工具,通过管道符号,可以不用输入后面的filename,这里的意思是,替换非字母的其他字符为空:
^:意思是非a-z的其他字符
#sed 's/[^a-z]/ /g' filename
在删除了字符之后,就需要统计单词和排序了,sort和uniq命令一般是使用行来统计的,这里我们需要将字符串或者文件中的单词,按照每行一个单词来输入出。可以使用tr命令将文本中的空格替换成换行符:
#echo 'xxx xx xx11'|tr ' ' '\n'
从上面的输出中,可以看到将字符串按照每行来输出,但是出现了空行,可以使用
#echo 'xxx xx xx11'|tr ' ' '\n'|tr -s '\n'
在上面的命令中sort命令出现两次,第一次是对输出的字符串进行排序,第二次是按照第一列的数字进行降序排列。而uniq -c 是为了统计每一行出现的次数。
#echo 1 1 2 3 4 |tr ' ' '\n'|sort |uniq -c|sort -nk1 -r
2 1
1 4
1 3
1 2
匹配单个字母可以使用grep命令:
[root@api sudo-1.8.27]# echo 'as;df?g,,;;asd;f'|grep -o "[a-z]" |sort|uniq -c |sort -nk1 -r
2 s
2 f
2 d
2 a
1 g
grep -o 【-o 表示“only-matching”】仅匹配这里只匹配a-z的字母。在使用sort和uniq命令进行排序处理。