【linux】使用sed删除大文件中的指定行
引言: 最近在清洗数据时遇到一个超大的文件,需要删除其中不符合数据要求的指定行。使用之前写好的python脚本清洗速度太慢,于是检索了许多linux文件处理的命令,了解到sed这个命令工具。
sed命令的使用比较复杂,但是对于我的这个需求来说,使用其他还是比较简单的。最关键的,它支持正则表达式。
使用规则: sed '/正则表达式/d' 文件名 > 新文件名
比如删除vocab.txt文件中,字符串"while"开头的所有行:sed '/^while/d' vocab.txt > vocab_new.txt
.
解释: "d"表示删除的意思,后面不接任何东西,正则表达式用两个“/”分隔开。最后一定要重定向到一个新的文件,因为sed命令是将删除后的结果在控制台上输出,如果不加重定向,则源文件中的内容是没有任何删除的。