问题1:现在有一万多条记录,其中包含重复的记录,每条记录占一行,问如何从这些记录中找到数量排名前10的记录?
- $ sort datafile | uniq -c | sort -k 1 -n -r | head -n 10
- 解析:
- sort date
- 表示对data文件中的内容进行排序。sort命令是对于每一行的内容根据字典序(ASCII码)进行排序,这样可以保证重复的记录时相邻的。
- sort data | uniq -c
- uniq -c 表示合并相邻的重复记录,并统计重复数。因为uniq -c 只会合并相邻的记录,所以在使用该命令之前需要先排序。
- sort data | uniq -c | sort -k 1 -n -r
- 经过uniq -c 处理之后的数据格式形如"2 data",第一个字段是数字,表示重复的记录数;第二个字段为记录的内容。我们将对此内容进行排序。sort -k 1表示对于每行的第一个字段进行排序,这里即指代表重复记录数的那个字段。因为sort命令的默认排序是按照ASCII,这就会导致按从大到小进行排序时,数值2会排在数值11的前面,所以需要使用-n 参数指定sort命令按照数值大小进行排序。-r 表示逆序,即按照从大到小的顺序进行排序。
- 经过uniq -c 处理之后的数据格式形如"2 data",第一个字段是数字,表示重复的记录数;第二个字段为记录的内容。我们将对此内容进行排序。sort -k 1表示对于每行的第一个字段进行排序,这里即指代表重复记录数的那个字段。因为sort命令的默认排序是按照ASCII,这就会导致按从大到小进行排序时,数值2会排在数值11的前面,所以需要使用-n 参数指定sort命令按照数值大小进行排序。-r 表示逆序,即按照从大到小的顺序进行排序。
- sort data | uniq -c | sort -k 1 -n -r | head 10
- head 命令表示选取文本的前x行。通过head 10 就可以得到排序结果中前十行的内容。
- head 命令表示选取文本的前x行。通过head 10 就可以得到排序结果中前十行的内容。
- sort date
cat datafile | awk '{print $1}' | sort | uniq -c | sort -k 1 -n -r | wc -l > result.txt
按照文件中第一个字段,做统计
- awk ‘{print $1}’:日志记录中的第一个字段
统计一个文件中所有单词,并按出现频率排序 (单词以'\t', ' ', '\n'分割)·
tr -s "\t| " "\n" < list_of_not_defined_keywords.csv | sort | uniq -c | sort -k 1 -n -r
参考文章: