【linux】使用sed删除大文件中的指定行

【linux】使用sed删除大文件中的指定行

引言： 最近在清洗数据时遇到一个超大的文件，需要删除其中不符合数据要求的指定行。使用之前写好的python脚本清洗速度太慢，于是检索了许多linux文件处理的命令，了解到sed这个命令工具。

sed命令的使用比较复杂，但是对于我的这个需求来说，使用其他还是比较简单的。最关键的，它支持正则表达式。

使用规则： sed '/正则表达式/d' 文件名 > 新文件名

比如删除vocab.txt文件中，字符串"while"开头的所有行：sed '/^while/d' vocab.txt > vocab_new.txt.

解释： "d"表示删除的意思，后面不接任何东西，正则表达式用两个“/”分隔开。最后一定要重定向到一个新的文件，因为sed命令是将删除后的结果在控制台上输出，如果不加重定向，则源文件中的内容是没有任何删除的。