linux shell脚本中读取文件内容的方法(含效率测试)

转载 2016年06月02日 09:27:45

主要介绍Shell逐行读取文件的4种方法:while循环法、重定向法、管道法、文件描述符法。

方法1:while循环中执行效率最高,最常用的方法。

代码如下:

function while_read_LINE_bottm(){
while read LINE
do
echo $LINE
done < $FILENAME
}

注释:我习惯把这种方式叫做read釜底抽薪,因为这种方式在结束的时候需要执行文件,就好像是执行完的时候再把文件读进去一样。

方法2 : 重定向法;管道法: cat $FILENAME | while read LINE

代码如下:

Function While_read_LINE(){
cat $FILENAME | while read LINE
do
echo $LINE
done
}

注释:我只所有把这种方式叫做管道法,相比大家应该可以看出来了吧。当遇见管道的时候管道左边的命令的输出会作为管道右边命令的输入然后被输入出来。

方法3: 文件描述符法


代码如下:

Function while_read_line_fd(){
Exec 3<&0
Exec 0<$FILENAME
While read LINE
Do
Echo $LINE
Exec 0<&<3
}

注释: 这种方法分2步骤,第一,通过将所有内容重定向到文件描述符3来关闭文件描述符0.为此我们用了语法Exec 3<&0 。第二部将输入文件放送到文件描述符0,即标准输入。

方法4 for 循环。


代码如下:

function for_in_file(){
For line in `cat $FILENAME`
do
echo $line
done
}

注释:这种方式是通过for循环的方式来读取文件的内容相比大家很熟悉了,这里不多说。对各个方法进行测试,看那方法的执行效率最高。


while逐行读的方法与for循环逐行读的方法是不同的,例如:

$ cat file
1111
2222
3333 4444 555

$ cat file | while read line; do echo $line; done
1111
2222
3333 4444 555

$ for line in $(<file); do echo $line; done
1111
2222
3333
4444
555


测试用例:

首先我们用脚本(脚本见附件)生成一个70000行的文件,文件位置在/scripts/bigfile。然后通过下面的脚本来测试各个方法的执行效率,脚本很简单,不再解释。

代码如下:

#!/bin/bash
FILENAME="$1"
TIMEFILE="/tmp/loopfile.out" > $TIMEFILE
SCRIPT=$(basename $0)
function usage(){
echo -e "\nUSAGE: $SCRIPT file \n"
exit 1
}
function while_read_bottm(){
while read LINE
do
echo $LINE
done < $FILENAME
}
function while_read_line(){
cat $FILENAME | while read LINE
do
echo $LINE
done
}
function while_read_line_fd(){
exec 3<&0
exec 0< $FILENAME
while read LINE
do
echo $LINE
done
exec 0<&3
}
function for_in_file(){
for i in `cat $FILENAME`
do
echo $i
done
}
if [ $# -lt 1 ] ; then
usage
fi
echo -e " \n starting file processing of each method\n"
echo -e "method 1:"
echo -e "function while_read_bottm"
time while_read_bottm >> $TIMEFILE
echo -e "\n"
echo -e "method 2:"
echo -e "function while_read_line "
time while_read_line >> $TIMEFILE
echo -e "\n"
echo -e "method 3:"
echo "function while_read_line_fd"
time while_read_line_fd >>$TIMEFILE
echo -e "\n"
echo -e "method 4:"
echo -e "function for_in_file"
time for_in_file >> $TIMEFILE

执行脚本: ./while /scripts/bigfile

脚本输出内容如下:


method 1:
function while_read_bottm
real 0m5.689s
user 0m3.399s
sys 0m1.588s
method 2:
function while_read_line
real 0m11.612s
user 0m4.031s
sys 0m4.956s
method 3:
function while_read_line_fd
real 0m5.853s
user 0m3.536s
sys 0m1.469s
method 4:
function for_in_file
real 0m5.153s
user 0m3.335s
sys 0m1.593s

下面我们对各个方法按照速度进行排序。
代码如下:

real 0m5.153s method 4 (for 循环法)
real 0m5.689s method 1 (while 釜底抽薪法)
real 0m5.853s method 3 (标识符法)
real 0m11.612s method 2 (管道法)

由此可见在各个方法中,for语句效率最高,而在while循环中读写文件时,

while read LINE
do
echo $LINE
done < $FILENAME

方式执行效率最高。


还有一篇文章可以参考:http://blog.itpub.net/22664653/viewspace-1175858/


linux shell 按行循环读入文件方法

linux  shell 按行循环读入文件常用代码如下: #/bin/bash printf "*************************************\n" echo ...
  • hittata
  • hittata
  • 2011年12月05日 16:20
  • 41082

SHELL脚本读文件

先说一下,我用的是这个: 以下是sh文件内容********************************************#!/bin/shFILENAME="$1"cat $FILENAM...
  • herrapfel
  • herrapfel
  • 2011年11月18日 16:17
  • 8542

shell脚本按行读取文件并解析

shell脚本读取一个配置文件,配置文件的格式如下: name=abc pwd=123456 permission=mop 文件名称为 config.cfg 要在shell脚本里读取这...
  • levis12315
  • levis12315
  • 2016年09月13日 11:07
  • 2349

shell:读取文件的每一行内容并输出

写法一: ---------------------------------------------------------------------------- #!/bin/bash w...
  • cbbbc
  • cbbbc
  • 2016年08月13日 14:37
  • 6540

shell 实现读取文件某行的内容

[root@node2 sxf]# cat /etc/hosts  #查看文件内容 127.0.0.1   localhost localhost.localdomain localhost4 lo...
  • sxf_123456
  • sxf_123456
  • 2017年04月25日 14:38
  • 917

shell:读取文件的每一行内容并输出

http://www.cnblogs.com/iloveyoucc/archive/2012/07/10/2585529.html 写法一: -------------------------...
  • liukuan73
  • liukuan73
  • 2016年03月09日 06:56
  • 1411

Shell编程-文件读取方法集锦

1 ,在这里总结一下Shell读取文件的方法 view plain a),   #使用read命令读取一行数据   while read myline   do ...
  • zltianhen
  • zltianhen
  • 2011年11月19日 15:48
  • 543

Shell编程-文件读取方法集锦

1 ,在这里总结一下Shell读取文件的方法 a), #使用read命令读取一行数据 while read myline do echo "LINE:"$myline done <...
  • xj178926426
  • xj178926426
  • 2011年11月01日 17:54
  • 35859

shell读取文件

1 -- SHELL读取文件的方法 #使用read命令读取一行数据 while read myline do echo "LINE:"$myline done < datafile.txt ...
  • alangdangjia
  • alangdangjia
  • 2011年12月08日 15:00
  • 7418

shell读取文件的每一行

写法一: ---------------------------------------------------------------------------- #!/b...
  • lifuxiangcaohui
  • lifuxiangcaohui
  • 2015年12月04日 10:39
  • 1239
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:linux shell脚本中读取文件内容的方法(含效率测试)
举报原因:
原因补充:

(最多只允许输入30个字)