Linux中通过Shell对文件中指定行进行增加、删除、追加、替换

一、在某行(指具体行号)前或后加一行内容

#第4行末尾追加一行，内容为test
sed -i 'N;4atest' test.txt   
#第4行行首追加一行，内容为test
sed -i 'N;4itest' test.txt   

#匹配到test字段的行行首插入一行
find . -name test.txt|xargs sed -i '/test/i <!--'   
#匹配到test字段的行行末插入一行
find . -name test.txt|xargs sed -i '/test/a -->'    

#所有行首增加
sed -i 's/^/ABC/' test.txt
#所有行尾添加
sed -i 's/$/XYZ/' test.txt

#第5行添加文件a.txt的内容
sed -i '5 r a.txt' test.txt

#oooo行文件a.txt的内容
sed -i '/oooo/r a.txt' 5.txt

二、删除操作

#删除指定行，例如第5行
sed -i '5 d' test.txt

#删除首行
sed -i '1d' test.txt

#删除末行
sed -i '$d' test.txt

#删除空行
sed -i '/^$/d' test.txt

#剔除空格
sed -i 's/[ ]*//g' test.txt

#删除车符
sed -i 's/^M//g' test.txt

#删除指定字段的下一行
sed -i '/test/{n;d}' test.txt  #匹配到test字段

#删除指定字段的上一行
sed -i -e :a -e '$!N;s/.*n(.*test)/1/;ta' -e 'P;d' test.txt    #匹配到test字段

三、其他操作

#将所有的行合并成一行，并用指定字符分割
sed ':a;N;$!ba;s/\n/,/g' test.txt

更多操作，请man sed
示例请参考：http://blog.csdn.net/m0_37886429/article/details/79034190

四、处理以下文件内容的命令

awk '/^ +/{p++}/^?/{t=s=0;v++;k[v]=p;p=0;next}!t&&!/^[0-9]/{s++;a[s]=a[s]?a[s]"\t"$0:$0;}/^[0-9]+/{m[++q]=$0;if($0>n) n=$0}
END{for(i=1;i<=n;i++) {print a[i];if(i<=v) {t=t?t"\t"m[i]:m[i];d=d?d"\t?":"\n?"}}print t,d}'  文件名

执行效果： 

文件内容(截取部分数据，好多内容都是)： 

每个问号之间都是文本内容，格式如上图所示

扩展：用php程序处理这个文件

<?php
$i = 1;
foreach(explode('?',file_get_contents('ab.txt')) as $loop){
    $loop = trim($loop);
    if( !$loop ) continue;
    $cards = array();
    foreach(explode("\n",$loop) as $line){
        if( preg_match('/(\d+)\s([\d\w]+)/',$line,$m) ){
            $count = intval($m[1]);
            $card  = trim($m[2]);
            $cards[$card] = $count;
        }
    }
            $key = ''.implode(' ',array_keys($cards)).'';
            $val = implode(' ',$cards);
//                          $sql = "replace into c2030($key) value($val);\n";
                $sql = "$key\n$val\n";
                echo "$sql";

                    $i++;
}
 

 ———————————————— 

sed是一个很好的文件处理工具，本身是一个管道命令，主要是以行为单位进行处理，可以将数据行进行替换、删除、新增、选取等特定工作，下面先了解一下sed的用法 
sed命令行格式为：

sed [选项] ‘命令’ 输入文本 
sed [-nefri] ‘command’ 输入文本

常用选项：

   -n∶使用安静(silent)模式。在一般sed 的用法中，所有来自 STDIN的资料一般都会被列出到荧幕上。但如果加上 -n 参数后，则只有经过sed特殊处理的那一行(或者动作)才会被列出来。
   -e∶直接在指令列模式上进行 sed 的动作编辑；
   -f∶直接将 sed 的动作写在一个档案内， -f filename 则可以执行 filename 内的sed动作；
   -r∶sed 的动作支援的是延伸型正规表示法的语法。(预设是基础正规表示法语法)
   -i∶直接修改读取的档案内容，而不是由荧幕输出。       

常用命令：

   a  ∶新增， a 的后面可以接字串，而这些字串会在新的一行出现(目前的下一行)～
   c   ∶取代， c 的后面可以接字串，这些字串可以取代n1,n2 之间的行！
   d   ∶删除，因为是删除啊，所以 d后面通常不接任何咚咚；
   i   ∶插入， i的后面可以接字串，而这些字串会在新的一行出现(目前的上一行)；
   p  ∶列印，亦即将某个选择的资料印出。通常 p 会与参数 sed-n 一起运作～
   s  ∶取代，可以直接进行取代的工作哩！通常这个 s的动作可以搭配正规表示法！例如 1,20s/old/new/g 就是啦！

举例：（假设我们有一文件名为ab）

$  sed '1d' ab    #删除第一行  
$  sed '$d' ab    #删除最后一行  
$  sed '1,2d' ab   #删除第一行到第二行 
$  sed '2,$d' ab   #删除第二行到最后一行

$  sed -n '1p' ab       #显示第一行 
$  sed -n '$p' ab       #显示最后一行         
$  sed -n '1,2p' ab     #显示第一行到第二行    
$  sed -n '2,$p' ab     #显示第二行到最后一行  

$  sed -n '/ruby/p' ab   #查询包括关键字ruby所在所有行
$  sed -n '/\$/p' ab  #查询包括关键字$所在所有行，使用反斜线\屏蔽特殊含义
$  cat ab  
     Hello!  
     ruby is me,welcome to my blog.  
     end  
$  sed '1a drink tea' ab    #第一行后增加字符串"drink tea"  
     Hello!  
     drink tea  
     ruby is me,welcome to my blog.   
     end  
$  sed '1,3a drink tea' ab    #第一行到第三行后增加字符串"drink tea"    
     Hello!  
     drink tea  
     ruby is me,welcome to my blog.  
     drink tea  
     end  
     drink tea  
$  sed '1a drink tea\nor coffee' ab   #第一行后增加多行，使用换行符\n  
     Hello!  
     drink tea  
     or coffee  
     ruby is me,welcome to my blog.  
     end  

$  sed '1c Hi' ab           #第一行代替为Hi           
     Hi  
     ruby is me,welcome to my blog.  
     end  
$  sed '1,2c Hi' ab     #第一行到第二行代替为Hi  
      Hi  
     end  

#格式：sed 's/要替换的字符串/新的字符串/g'   （要替换的字符串可以用正则表达式）  

$  sed -n '/ruby/p' ab | sed 's/ruby/bird/g'    #替换ruby为bird  
$  sed -n '/ruby/p' ab | sed 's/ruby//g'     #删除ruby 

$  sed -i '$a bye' ab  在文件ab中最后一行直接输入"bye"  
$  cat ab  
     Hello!  
     ruby is me,welcome to my blog.  
     end  
     bye  
 ———————————————— 

有时候会有这样的需求，在指定的行后面或者是前面追加一行，这个时候可以使用sed来完成，具体用法如下
a\ 在指定的行后面追加一行 
b\ 在指定的行前面追加一行

使用指定的行号追加内容，在使用行号的过程中，需要注意的问题有以下
N;后面只能使用偶数，且不可以为０
a表示在指定的行后面追加一行
i表示在当前行插入一行，如果指定行为４，其实最终的结果插入行的位置是第三行。
sed -i 'N;2a\newline' 1.txt
sed -i 'N;2i\newline' 1.txt

[root@lanmp shell]# cat << eof > 1.txt
> a
> b
> c
> d
> eof
[root@lanmp shell]# sed -i 'N;2a2222' 1.txt
[root@lanmp shell]# cat 1.txt
a
b
2222
c
d
[root@lanmp shell]# sed -i 'N;2i2222' 1.txt
[root@lanmp shell]# cat 1.txt
2222
a
b
2222
c
d

[root@RS2 shell]# cat 1.txt
1111
3333
[root@RS2 shell]# sed -i '/^1111$/a\2222' 1.txt ; cat 1.txt
1111
2222
3333
[root@RS2 shell]# sed -i '/^1111$/i\0000' 1.txt ; cat 1.txt
0000
1111
2222
3333

下面是把所有匹配的字符都替换为指定的字符

[root@SLAVE ~]# cat << eof > 1.txt
> 1111
> 222333333
> 44444444445
> eof
[root@SLAVE ~]# sed -i 2{s/2/3/g} 1.txt
[root@SLAVE ~]# cat 1.txt
1111
333333333
44444444445
[root@SLAVE ~]# sed -i 3{s/4/5/g} 1.txt
[root@SLAVE ~]# cat !$
cat 1.txt
1111
333333333
55555555555
 ————————————————