使用sed grep工具过滤实例

在处理庞大数据量时，善用Linux三剑客sed grep awk，让你运维更加得心应手。
这里贴上实例，以防以后还用得到，仅供参考！

分割字符串

思路：将分割的字符替换成换行符。

$ sed `s/[,，、;｜/_；：-]/\n/g` file > file1

去除特殊符号

思路：将特殊符号替换为空。
． [] {} 需要单独替换，不然会报错

$ sed `s/[~·\"\'’‘“”■■▲△◆●★〓（）()☆《》『』【】〖〗／Φ\*\&\^\#\@\!！\?？\<\>\ ＡＢＣＤＥＦＧＨＩＪＫＬＭＮＯＰＱＲＳＴＵＶＷＸＹＺ]//g` file1 > file2
$ sed `s/．//g` file2 > file3
$ sed `s/\[//g` file3 > file4
$ sed `s/\]//g` file4 > file5
$ sed `s/{//g` file5 > file6
$ sed `s/}//g` file6 > file7

去除纯数字纯字母行

思路：grep出纯数字纯字母行，然后进行取反

$ cat file7 | grep -v ^ [0-9a-zA-Z]*$ > file8

去除空白行

思路：grep出空白行，然后进行取反

$ cat file8 | grep -v ^ [\ ]*$ > new_file

参考链接：
1、正则表达式快速入门
https://www.cnblogs.com/realcare/p/6028622.html
2、sed 字符串替换
https://www.cnblogs.com/linux-wangkun/p/5745584.html
3、grep中使用"\d"匹配数字不成功的原因
https://blog.csdn.net/yufenghyc/article/details/51078107