python grep pipe 直接读文件 效率_Linux grep大文件提速

grep在utf8模式下的速度会很慢，这在grep小文件的时候没啥影响，但是grep大文件的时候就显得非常慢。

解决grep大文件慢的方法就是不要设置为utf8模式。

先用locale看一下目前的编码：

LANG=en_US.UTF-8

LC_CTYPE=”en_US.UTF-8″

LC_NUMERIC=”en_US.UTF-8″

LC_TIME=”en_US.UTF-8″

LC_COLLATE=”en_US.UTF-8″

LC_MONETARY=”en_US.UTF-8″

LC_MESSAGES=”en_US.UTF-8″

LC_PAPER=”en_US.UTF-8″

LC_NAME=”en_US.UTF-8″

LC_ADDRESS=”en_US.UTF-8″

LC_TELEPHONE=”en_US.UTF-8″

LC_MEASUREMENT=”en_US.UTF-8″

LC_IDENTIFICATION=”en_US.UTF-8″

LC_ALL=

如果是用bash，可以使用命令：

export LC_ALL=C

如果是csh，就用命令：

setenv LC_ALL C

设置编码为C

LANG=en_US.UTF-8

LC_CTYPE=”C”

LC_NUMERIC=”C”

LC_TIME=”C”

LC_COLLATE=”C”

LC_MONETARY=”C”

LC_MESSAGES=”C”

LC_PAPER=”C”

LC_NAME=”C”

LC_ADDRESS=”C”

LC_TELEPHONE=”C”

LC_MEASUREMENT=”C”

LC_IDENTIFICATION=”C”

LC_ALL=C