脚本处理文本的一周啊

这一周就在整脚本了。

我的数据是这样子的  aaaaaameta['ddd', 'ccc', 'des', 'abcd,eee,ff,ddef']

 aaaaaafront['dwd', 'xxde', 'ddes', 'ddddss,efsee,ffgg,ddrref']

我呢，要做的事情就是把方括号里的单引号内的每一个字段抽出来，然后画张表，发邮件出来。

画表、发邮件的脚本已经有了，我改改就行了。关键是前面要把方括号内的抽取出来先，然后再分割。

all=""
while read line 
do
  all=$line
  new=${all%*\]}
  result=${new##*\[}

  symbol=$(echo $line | grep "meta")
   if [ "$symbol" != "" ]
   then
      result="meta"" "$result
   else
      result="front"" "$result
   fi
  echo $result
done<$1

我用的是字段截取的方式，就是先把方括号去掉。

然后，去掉单引号。

#!/bin/sh

awk '
    { 
    result=$1 
 for(i=2;i<=NF-1;i++){
       
       len = length($i)
       if(len<=3){
        char=" "        
        }else{
         char = substr($i,2,len-3)                    
              }   
       result=result"\t"char
        }
     len=length($NF)
       if(len<=2){
        char=" "        
        }else{
         char = substr($i,2,len-2)                    
              }   
       result=result"\t"char

     print result    
    }
' $1

这个是对每一个字段把单引号去掉了。

这样的话，我的脚本很长，同时又需要好几个临时文件。

同事是牛人，脚本用的很好，awk string replace一搜索，很多人写的解决方案。好吧，我觉得我平时写代码，总是输入中文，这个是个很鸟的方法，以后要学着用english.这样，我上面的两个长脚本，就可以改成：

cat $HOME/logs/data.log | grep "front" | sed 's/.*\[/front /' | sed 's/\]//' | awk '{gsub("'\''", ""); print $0}'\
 | awk '{gsub(", "," "); print $0}' | awk '{if(NF == 13) print $0}' >>$FILE

cat $HOME/logs/data.log | grep "meta" | sed 's/.*\[/meta /' | sed 's/\]//' | awk '{gsub("'\''", ""); print $0}'\
 | awk '{gsub(", "," "); print $0}'| awk '{if(NF == 13) print $0}' >>$FILE

中间呢，根据我的实际情况，添加了过滤条件。觉得sed和其中的awk是可以只用一个的，只是我正则表达式用的不好。测试了一下，可以改成：

cat  $HOME/logs/data.log | grep "meta" | awk '{sub(/.*\[/,"meta\t"); sub(/\]/,"");gsub("'\''", "");gsub(", ","\t"); print $0}' \
 | awk -F"\t" '{if(NF == 13) print $0}' >>$FILE

如此，会造成meta和front表中的数据不间隔，因此，再改进：

cat  $HOME/logs/data.log | grep -E "meta|front" \
 | awk '{sub(/.*meta.*\[/,"meta\t");sub(/.*front.*\[/,"front\t");sub(/\]/,"");gsub("'\''", "");gsub(", ","\t"); print $0}' \
 | awk -F"\t" '{if(NF == 13) print $0}' >>$FILE