linux字符串第一个字母排序,如何用shell脚本实现单词及字母去重排序？

在linux中处理文件的命令有sed、awk、grep、tr等，而对于去重复排序的命令有sort、uniq等，在处理文件时首先要考虑的是文本的结构是否存在规律。

问题中是需要对单词及字母进行排序，这里需要考虑的问题是单词中是否存在大写字母？单词是否和标点符号连接？

如果需要统计排序的是字符串，我们可以使用下面的命令。

[root@api ~]# echo ${str,,}|sed 's/[^a-z]/ /g'|tr ' ' '\n'|sort|uniq -c|sort -nk1 -r

如果需要统计的是文件，我们可以这个命令。

[root@api ~]# cat file|tr '[A-Z]' '[a-z]'|sed 's/[^a-z]/ /g'|tr ' ' '\n'|sort|uniq -c|sort -nk1 -r

管道【|】，可以将上一个命令的输出做为管道后面命令的输入，从上面的命令就很好的看出了每一步管道符号的作用。

下面解释下每一个处理的命令。

#echo ${a,,}

在bash 4+ 版本以后字符串本身就可以完成大小写转换。

#echo ${str^^}

同样也可以使用tr命令来替换大小写字母，比如:

#echo xxxx | tr '[a-z]' '[A-Z]'

#echo XXX | tr '[A-Z]' '[a-z]'

sed 命令是高效处理文本的工具，通过管道符号，可以不用输入后面的filename，这里的意思是，替换非字母的其他字符为空：

^：意思是非a-z的其他字符

#sed 's/[^a-z]/ /g' filename

在删除了字符之后，就需要统计单词和排序了，sort和uniq命令一般是使用行来统计的，这里我们需要将字符串或者文件中的单词，按照每行一个单词来输入出。可以使用tr命令将文本中的空格替换成换行符：

#echo 'xxx xx xx11'|tr ' ' '\n'

从上面的输出中，可以看到将字符串按照每行来输出，但是出现了空行，可以使用

#echo 'xxx xx xx11'|tr ' ' '\n'|tr -s '\n'

在上面的命令中sort命令出现两次，第一次是对输出的字符串进行排序，第二次是按照第一列的数字进行降序排列。而uniq -c 是为了统计每一行出现的次数。

#echo 1 1 2 3 4 |tr ' ' '\n'|sort |uniq -c|sort -nk1 -r

2 1

1 4

1 3

1 2

匹配单个字母可以使用grep命令：

[root@api sudo-1.8.27]# echo 'as;df?g,,;;asd;f'|grep -o "[a-z]" |sort|uniq -c |sort -nk1 -r

2 s

2 f

2 d

2 a

1 g

grep -o 【-o 表示“only-matching”】仅匹配这里只匹配a-z的字母。在使用sort和uniq命令进行排序处理。