linux shell脚本中读取文件内容的方法(含效率测试)

转载 2016年06月02日 09:27:45

主要介绍Shell逐行读取文件的4种方法:while循环法、重定向法、管道法、文件描述符法。

方法1:while循环中执行效率最高,最常用的方法。

代码如下:

function while_read_LINE_bottm(){
while read LINE
do
echo $LINE
done < $FILENAME
}

注释:我习惯把这种方式叫做read釜底抽薪,因为这种方式在结束的时候需要执行文件,就好像是执行完的时候再把文件读进去一样。

方法2 : 重定向法;管道法: cat $FILENAME | while read LINE

代码如下:

Function While_read_LINE(){
cat $FILENAME | while read LINE
do
echo $LINE
done
}

注释:我只所有把这种方式叫做管道法,相比大家应该可以看出来了吧。当遇见管道的时候管道左边的命令的输出会作为管道右边命令的输入然后被输入出来。

方法3: 文件描述符法


代码如下:

Function while_read_line_fd(){
Exec 3<&0
Exec 0<$FILENAME
While read LINE
Do
Echo $LINE
Exec 0<&<3
}

注释: 这种方法分2步骤,第一,通过将所有内容重定向到文件描述符3来关闭文件描述符0.为此我们用了语法Exec 3<&0 。第二部将输入文件放送到文件描述符0,即标准输入。

方法4 for 循环。


代码如下:

function for_in_file(){
For line in `cat $FILENAME`
do
echo $line
done
}

注释:这种方式是通过for循环的方式来读取文件的内容相比大家很熟悉了,这里不多说。对各个方法进行测试,看那方法的执行效率最高。


while逐行读的方法与for循环逐行读的方法是不同的,例如:

$ cat file
1111
2222
3333 4444 555

$ cat file | while read line; do echo $line; done
1111
2222
3333 4444 555

$ for line in $(<file); do echo $line; done
1111
2222
3333
4444
555


测试用例:

首先我们用脚本(脚本见附件)生成一个70000行的文件,文件位置在/scripts/bigfile。然后通过下面的脚本来测试各个方法的执行效率,脚本很简单,不再解释。

代码如下:

#!/bin/bash
FILENAME="$1"
TIMEFILE="/tmp/loopfile.out" > $TIMEFILE
SCRIPT=$(basename $0)
function usage(){
echo -e "\nUSAGE: $SCRIPT file \n"
exit 1
}
function while_read_bottm(){
while read LINE
do
echo $LINE
done < $FILENAME
}
function while_read_line(){
cat $FILENAME | while read LINE
do
echo $LINE
done
}
function while_read_line_fd(){
exec 3<&0
exec 0< $FILENAME
while read LINE
do
echo $LINE
done
exec 0<&3
}
function for_in_file(){
for i in `cat $FILENAME`
do
echo $i
done
}
if [ $# -lt 1 ] ; then
usage
fi
echo -e " \n starting file processing of each method\n"
echo -e "method 1:"
echo -e "function while_read_bottm"
time while_read_bottm >> $TIMEFILE
echo -e "\n"
echo -e "method 2:"
echo -e "function while_read_line "
time while_read_line >> $TIMEFILE
echo -e "\n"
echo -e "method 3:"
echo "function while_read_line_fd"
time while_read_line_fd >>$TIMEFILE
echo -e "\n"
echo -e "method 4:"
echo -e "function for_in_file"
time for_in_file >> $TIMEFILE

执行脚本: ./while /scripts/bigfile

脚本输出内容如下:


method 1:
function while_read_bottm
real 0m5.689s
user 0m3.399s
sys 0m1.588s
method 2:
function while_read_line
real 0m11.612s
user 0m4.031s
sys 0m4.956s
method 3:
function while_read_line_fd
real 0m5.853s
user 0m3.536s
sys 0m1.469s
method 4:
function for_in_file
real 0m5.153s
user 0m3.335s
sys 0m1.593s

下面我们对各个方法按照速度进行排序。
代码如下:

real 0m5.153s method 4 (for 循环法)
real 0m5.689s method 1 (while 釜底抽薪法)
real 0m5.853s method 3 (标识符法)
real 0m11.612s method 2 (管道法)

由此可见在各个方法中,for语句效率最高,而在while循环中读写文件时,

while read LINE
do
echo $LINE
done < $FILENAME

方式执行效率最高。


还有一篇文章可以参考:http://blog.itpub.net/22664653/viewspace-1175858/


相关文章推荐

高级串口编程, 使用 ioctl 和 select

高级串口编程, 使用 ioctl 和 select  分类: LINUX Chapter 4, Advanced Serial Programming 第四章,高级串口编程 ...

linux串口编程 select

1、串口的阻塞和非阻塞 阻塞的定义:        对于read,block指当串口输入缓冲区没有数据的时候,read函数将会阻塞在这里,一直到串口输入缓冲区中有数据可读取,read读到了需要...

Linux读写文件性能测试工具--postmark

postmark命令解析   postmark的操作是在命令行的环境下的。   一个配置文件(在命令行中被指定)包含了一组可以直接运行的命令。   在命令行提示下,有如下命令:   pm > ...

测试linux下磁盘的读写速率

1) 通过df -h命令查看磁盘情况 Filesystem            Size  Used Avail Use% Mounted on /dev/sda4         &...

Linux bash shell 逐行读取文件的三种方法

方法一,指定换行符读取: #! /bin/bash      IFS="   "      for LINE in `cat /etc/passwd...

shell读取一个文件内容到变量并逐一赋值

sys_info=$(cat /usr/local/sysconfig.txt) var=`echo   $sys_info   |   awk   -F ', '   '{...

shell读取文件中的内容,并将其存入到变量中

读取文件中的内容,并将其存入到变量中 var=$(cat name.txt)
  • sidely
  • sidely
  • 2014-10-24 14:27
  • 21577

Shell编程-文件读取方法集锦

1 ,在这里总结一下Shell读取文件的方法 a), #使用read命令读取一行数据 while read myline do echo "LINE:"$myline done <...

shell:读取文件的每一行内容并输出

写法一: ---------------------------------------------------------------------------- #!/bin/bash w...
  • cbbbc
  • cbbbc
  • 2016-08-13 14:37
  • 4118

Shell脚本基础17-while循环读取文件内容

本文介绍利用while循环语句读取文件里面的内容。 1. 方法一 2.方法二 3.方法三
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)