shell 命令之 校验，核实。排序，单一和重复

md5sum sha1sum

生成校验字符串

md5sum filename 

将生成的校验字符串重定向到文件

md5sum  file2 file2 fileSum.md5

校验数据的完整性

md5sum -c fileSum.md5

用所有的文件来检验所有的文件

md5sum *.md5

md5sum sha1sum执行过程一样

对目录进行校验和
md5deep -rl directory_path > directory.md5

-rf -r 递归的方式 -l 使用相对路径
结合find递归计算校验和
find directory_path -type f -print0 | xargs -0 md5sum >> directory.md5

用

md5sum -c directory.md5

进行核实

排序，单一和重复

sort file1.txt file2.txt … > sorted.txt
或者
sort file1.txt file2.txt … -o sorted.txt

将文件中的内容按行比较大小 输出到目标文件

cat sorted.txt | uniq > uniq.txt
找出sorted.txt中的不重复文件重定义到目标文件

按照数字进行排序
sort -n file.txt
5.txt内容

按逆序进行排序
sort -f file.txt

按月份进行排序
sort -M months.txt

检测一个文件是否排序过
#!/bin/bash
sort -C file;
if [ $? -eq 0 ];then
echo Sorted;
else
echo UnSort;
fi
要检查是否按数据进行排序，应该使用sort -nC

合并两个排过序的文件 ，并且不需要对合并文件进行再排序
sort -m sort1 sort2

依照键或列进行排序

sort -nrk 1 data.txt
-nr表明按照数字 采用逆序进行排序
sort -k 2 data.txt
依据第二列进行排序

键指的文本文件中的列

uniq(unique)
作用：用来消除重复内容 只能用于排过序的数据输入

uniq sorted.txt
sort unsorted.txt | uniq
or
sort -u unsorted.txt

只显示唯一的行
uniq -u sorted.txt
or
sort unsorted.txt | uniq -u

统计各行出现的次数
sort unsorted.txt | uniq -c

找出文中重复的行
sort unsorted.txt | uniq -d

sort unsort.txt | uniq -s 2 -w 2

-s n (或略前n个字符) -w n（比较的字符数）

uniq -z file.txt | xargs -0 rm
删除从file.txt读出的所有文件
-z包含终止符的输出