linux 清洗文件

1、去除文件fileName1中字符串的所有空格，并将去除掉空格的数据放入fileName2文件中

sed s/[[:space:]]//g fileName1 > fileName2

 

2、去除文本中的空行

grep -v "^$" fileName

 

3、统计文件中文本行数

awk 'END{print NR}' fileName

 

3、对文件中的内容进行去重

比如目前有一个名为date的txt文本，里面有一堆时间日期的数据

20180720

20180616

20180916

20180415

20180720

20180916

20180916

现在我们使用sort命令对它进行排序和去重，并重定向到新文件中

cat fileName1 | sort -n | sort -u > fileName2

cat fileName2

解释:

sort -n 表示 排序

sort -u 表示 去重

sort -r 表示 对当前排序取反

sort -o 可以重定向到原文件(可以理解为在源文件上修改)

 

4、去除空格、去重、排序一起用

grep -v '^$' test | sort -u