嵌入式 Linux按行读取文件

原创 2013年12月02日 14:53:42

#!/bin/bash
n=1
while ((n<=$(cat readline|wc -l)))
do
array=$(cat readline| sed -n "${n} p"|awk '{print $1}')
echo $array


array2=$(cat readline| sed -n "${n} p"|awk '{print $2}')
echo $array2
((n+=1))
done


#按行读取文件

#定义变量接受文件名称
FILE=""
#判断文件是否存在
if [ "$1" == "" ]; then
FILE="/dev/stdin"
else
FILE="$1"
#判断文件是否可读
if [ ! -f $FILE ]; then
echo "$FILE : does not exists"
exit 1
elif [ ! -r $FILE ]; then
echo "$FILE: can not read"
exit 2
fi
fi


#按行读取文件并将值赋给变量
cat $FILE | while read LINE
do
RES=`cat icv_access_log.2012-09-03.txt |grep $LINE |awk '{print$4}'|sort|uniq -c |sort -nr|head -1`
WD=${RES}" "${LINE}
echo $WD >>result.txt
echo $WD
done
你要把每行取出来分别赋给一个变量的话,用sed 或 head 即可。
a=`sed -n '1p' ./data/1/statusl.txt`
b=`sed -n '2p' ./data/1/statusl.txt`
或者
a=`head -n 1 ./data/1/statusl.txt`
b=`head -n 2 ./data/1/statusl.txt`



参考了下

在linux中有很多方法逐行读取一个文件的方法,其中最常用的就是下面的脚本里的方法,而且是效率最高,使用最多的方法。为了给大家一个直观的感受,我们将通过生成一个大的文件的方式来检验各种方法的执行效率。


方法1:while循环中执行效率最高,最常用的方法。

function while_read_LINE_bottm(){
While read LINE
do
echo $LINE
done < $FILENAME
}

注释:我习惯把这种方式叫做read釜底抽薪,因为这种方式在结束的时候需要执行文件,就好像是执行完的时候再把文件读进去一样。

方法2 : 重定向法;管道法: cat $FILENAME | while read LINE

Function While_read_LINE(){
cat $FILENAME | while read LINE
do
echo $LINE
done
}
注释:我只所有把这种方式叫做管道法,相比大家应该可以看出来了吧。当遇见管道的时候管道左边的命令的输出会作为管道右边命令的输入然后被输入出来。

方法3: 文件描述符法

Function while_read_line_fd(){
Exec 3<&0
Exec 0<$FILENAME
While read LINE
Do
Echo $LINE
Exec 0<&<3
}

注释: 这种方法分2步骤,第一,通过将所有内容重定向到文件描述符3来关闭文件描述符0.为此我们用了语法Exec 3<&0。第二部将输入文件放送到文件描述符0,即标准输入。

方法4 for 循环。

function for_in_file(){
For i in `cat $FILENAME`
do
echo $i
done
}
注释:这种方式是通过for循环的方式来读取文件的内容相比大家很熟悉了,这里不多说。


对各个方法进行测试,看那方法的执行效率最高。

首先我们用脚本(脚本见附件)生成一个70000行的文件,文件位置在/scripts/bigfile。然后通过下面的脚本来测试各个方法的执行效率,脚本很简单,不再解释。

#!/bin/bash
FILENAME="$1"
TIMEFILE="/tmp/loopfile.out" > $TIMEFILE
SCRIPT=$(basename $0)

function usage(){
echo -e "\nUSAGE: $SCRIPT file \n"

exit 1
}

function while_read_bottm(){

while read LINE
do
echo $LINE

done < $FILENAME

}

function while_read_line(){

cat $FILENAME | while read LINE
do
echo $LINE
done

}

function while_read_line_fd(){

exec 3<&0
exec 0< $FILENAME
while read LINE
do
echo $LINE
done
exec 0<&3
}

function for_in_file(){
for i in `cat $FILENAME`
do
echo $i
done
}

if [ $# -lt 1 ] ; then
usage
fi
echo -e " \n starting file processing of each method\n"
echo -e "method 1:"
echo -e "function while_read_bottm"
time while_read_bottm >> $TIMEFILE

echo -e "\n"

echo -e "method 2:"
echo -e "function while_read_line "
time while_read_line >> $TIMEFILE

echo -e "\n"
echo -e "method 3:"
echo "function while_read_line_fd"
time while_read_line_fd >>$TIMEFILE

echo -e "\n"
echo -e "method 4:"
echo -e "function for_in_file"
time for_in_file >> $TIMEFILE

执行脚本后: [root@localhost shell]# ./while /scripts/bigfile
脚本输出内容:
method 1:
function while_read_bottm

real 0m5.689s
user 0m3.399s
sys 0m1.588s


method 2:
function while_read_line

real 0m11.612s
user 0m4.031s
sys 0m4.956s


method 3:
function while_read_line_fd

real 0m5.853s
user 0m3.536s
sys 0m1.469s


method 4:
function for_in_file

real 0m5.153s
user 0m3.335s
sys 0m1.593s


下面我们对各个方法按照速度进行排序。
real 0m5.153s method 4 (for 循环法)
real 0m5.689s method 1 (while 釜底抽薪法)
real 0m5.853s method 3 (标识符法)
real 0m11.612s method 2 (管道法)

由此可见在各个方法中,for语句效率最高,而在while循环中读写文件时,
while read LINE
do
echo $LINE

done < $FILENAME
方式执行效率最高。面的内容:

相关文章推荐

嵌入式 Linux 根文件系统的实现

  • 2009年12月09日 10:21
  • 235KB
  • 下载

Linux_嵌入式文件系统简介

本文详细介绍了四种常用的嵌入式文件系统的特点。

嵌入式入门-linux文件共享

嵌入式入门-linux文件共享 一 文件共享前提 1 linux与win相互ping通 2 关闭linux的防火墙/etc/init.d/iptables stop 二 连接WinSCP ...

linux squashfs嵌入式文件系统

squashfs是以linux 内核源码补丁的形式发布,附带mksquashfs工具,用于创建squash文件系统。squashfs可以将整个文件系统或者某个单一的目录压缩在一起, 存放在某个设备, ...

嵌入式 linux如何生成ko文件

hello.c文件如下 #include #include MODULE_LICENSE("GPL"); MODULE_AUTHOR("David Xie"); MODULE_DESCRIPTION...
  • skdkjxy
  • skdkjxy
  • 2013年12月02日 14:53
  • 1977

嵌入式 制作x86平台Linux跟文件系统initrd.img

什么是初始 RAM 磁盘? 初始 RAM 磁盘(initrd)是在实际根文件系统可用之前挂载到系统中的一个初始根文件系统。initrd 与内核绑定在一起,并作为内核引导过程的一部分进行加载。内核然后...
  • skdkjxy
  • skdkjxy
  • 2013年12月02日 14:44
  • 1303

嵌入式学习笔记300-linux根文件系统搭建

制作根文件系统首先需要用busybox编译出系统文件所需的应用程序,然后再以此拓展构建根文件系统。 这里使用busybox1.16.0,可以在本博客查询看是否有上传。 tar jxvf busyb...

Linux c==嵌入式文件编程(2)

Linux文件操作1.什么是文件?linux如何看待文件? Linux一点哲学,“一切皆为文件”;在Linux中对目录和设备的操作都等同于对文件的操作,都是使用文件描述符来进行的。 Linux文件...

嵌入式 Linux中.a,.la,.o,.so文件的意义和编程实现

Linux下文件的类型是不依赖于其后缀名的,但一般来讲:   .o,是目标文件,相当于windows中的.obj文件   .so 为共享库,是shared object,用于动态连接的,和dl...
  • skdkjxy
  • skdkjxy
  • 2013年12月02日 14:42
  • 835
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:嵌入式 Linux按行读取文件
举报原因:
原因补充:

(最多只允许输入30个字)