Linux shell 读取一个data文件，扫描其中的一个内容

程序功能：首先要读取一个data文件（很大），扫描出fr=..(文件中fr大概只有7种，并且某几种的value还有空值的情况。要处理空值 同时删除重复的内容)【为什么我觉得我没表达清楚。】

代码如下：

   rz filename  #先将所要处理的文件上传到服务器(此处是data文件)
   grep –r “fr= ” filename >filename1  #筛选filename中有”fr=”此关键字的行，并将其存到filename1文件中
   awk ‘{print $3 ,$4} ’ filename1 >filename2  #只单独列出含fr的一列并存在filename2中($4的原因是fr的value存在空值的情况)
   cat filename2 |where read line   #一行一行的读filename2中的内容 并将每行内容存在line
   do
   echo ${line%ldip1*}    # ${}是一个正则表达式 作用为删除每行中以ldip1开头后面的内容
   done >filename3   #将内容存在filename3中
   sort –k2n filename3 | uniq >filename4  #排序后 删除重复的内容

用Linux shell 命令处理文件中的内容的方式有三种：

1.
cat file | while read line
do 
echo ${搞一个正则表达式很方便}
done
2.
while read line
do 
echo ${搞一个正则表达式很方便}
done
3.
for line in 'cat file'
do
echo ${搞一个正则表达式很方便}
done

这三种方法是我搜到的 亲测好用 分享给大家