linux中sed命令以及awk命令的使用

一 Sed命令

Linux sed 命令是利用脚本来处理文本文件。
sed 可依照脚本的指令来处理、编辑文本文件。
Sed 主要用来自动编辑一个或多个文件、简化对文件的反复操作、编写转换程序等。
语法：sed [参数] [范围] [操作] [文本文件]
(1)选项：
-e ：直接在命令行模式上进行sed动作编辑，此为默认选项;

-f ：将sed的动作写在一个文件内，用–f filename 执行filename内的sed动作;

-i ：直接修改文件内容;

-n ：只打印模式匹配的行；

-r ：支持扩展表达式;

-h或–help：显示帮助；

-V或–version：显示版本信息。
(2）sed命令功能
命令 功能
a\ 在当前行后添加一行或多行。多行时除最后一行外，每行末尾需用“\”续行

c\ 用此符号后的新文本替换当前行中的文本。多行时除最后一行外，每行末尾需用""续行

i\ 在当前行之前插入文本。多行时除最后一行外，每行末尾需用""续行

d 删除行

h 把模式空间里的内容复制到暂存缓冲区

H 把模式空间里的内容追加到暂存缓冲区

g 把暂存缓冲区里的内容复制到模式空间，覆盖原有的内容

G 把暂存缓冲区的内容追加到模式空间里，追加在原有内容的后面

l 列出非打印字符

p 打印行

n 读入下一输入行，并从下一条命令而不是第一条命令开始对其的处理

q 结束或退出sed

r 从文件中读取输入行

! 对所选行以外的所有行应用命令

s 用一个字符串替换另一个

g 在行内进行全局替换

w 将所选的行写入文件

x 交换暂存缓冲区与模式空间的内容

y 将字符替换为另一字符（不能对正则表达式使用y命令）

（3）常用的命令展示
N1:只打印第三行

N2：打印3到9行

N3：用world 替换data.log文件中的root【真实写入】

N4: data.log文件1到2行替换world为root
N5 ：查询data.log文件有root字符串所在的行

N6：在文件第一行和第3行的每行下面添加gegege

N7:删除文件1到4行
（加上-i才是真实删掉，不加只是回显显示）

二 AWK命令

(1) 什么是awk
我们先来用专业的术语描述一下awk是什么，如果你看不懂，没关系，我们会再用"大白话"解释一遍。
awk是一个报告生成器，它拥有强大的文本格式化的能力，这就是专业的说法。
你可能不理解所谓的报告生成器中的"报告"是什么，你可以把"报告"理解为"报表"或者"表格",也就是说，我们可以利用awk命令，将一些文本整理成我们想要的样子，比如把一些文本整理成"表"的样子，然后再展示出来，刚才概念中提到的"文本格式化的能力"，也就是这个意思.
awk是由Alfred Aho 、Peter Weinberger 和 Brian Kernighan这三个人创造的，awk由这个三个人的姓氏的首个字母组成。

awk早期是在unix上实现的，所以，我们现在在linux的所使用的awk其实是gawk，也就是GNU awk，简称为gawk，awk还有一个版本，New awk，简称为nawk，但是linux中最常用的还是gawk。

awk从放弃到入门（1）：awk基础 （通俗易懂，快进来看）

awk其实是一门编程语言，它支持条件判断、数组、循环等功能。所以，我们也可以把awk理解成一个脚本语言解释器。

(2) grep 、sed、awk被称为linux中的"三剑客"。

我们总结一下这三个"剑客"的特长。

grep 更适合单纯的查找或匹配文本

sed 更适合编辑匹配到的文本

awk 更适合格式化文本，对文本进行较复杂格式处理

(3) awk基础
awk基本语法如下，。

awk [options] ‘program’ file1 , file2 , ```

对于上述语法中的program来说，又可以细分成pattern和action，也就是说，awk的基本语法如下

awk [options] ‘Pattern{Action}’ file

从字面上理解 ，action指的就是动作，awk擅长文本格式化，并且将格式化以后的文本输出，所以awk最常用的动作就是print和printf，因为awk要把格式化完成后的文本输出啊，所以，这两个动作最常用。

我们先从最简单用法开始了解awk，我们先不使用[options] ,也不指定pattern，直接使用最简单的action，从而开始认识awk，示例如下
N1:awk ‘{print}’ 1.log

上图中，我们只是使用awk执行了一个打印的动作，将文件中的内容打印了出来。
N2:打印某列

上图中的示例没有使用到options和pattern，上图中的awk ‘{print $5}’，表示输出df的信息的第5列，$5表示将当前行按照分隔符分割后的第5列，不指定分隔符时，默认使用空格作为分隔符，细心的你一定发现了，上述信息用的空格不止有一个，而是有连续多个空格，awk自动将连续的空格理解为一个分割符了，是不是比cut命令要简单很多，这样比较简单的例子，有利于我们开始了解awk。

awk是逐行处理的，逐行处理的意思就是说，当awk处理一个文本时，会一行一行进行处理，处理完当前行，再处理下一行，awk默认以"换行符"为标记，识别每一行，也就是说，awk跟我们人类一样，每次遇到"回车换行"，就认为是当前行的结束，新的一行的开始，awk会按照用户指定的分割符去分割当前行，如果没有指定分割符，默认使用空格作为分隔符。

N3:我们也可以一次输出多列，使用逗号隔开要输出的多个列，如下，一次性输出第一列和第二列

N4:除了输出文本中的列，我们还能够添加自己的字段，将自己的字段与文件中的列结合起来，如下做法，都是可以的。

是要注意，$1这种内置变量的外侧不能加入双引号，否则$1会被当做文本输出
N5:我们说过，awk的语法如下

awk [options] ‘Pattern{Action}’ file

而且我们说过awk是逐行处理的， 刚才已经说过了最常用的Action：print

现在，我们来认识下一Pattern，也就是我们所说的模式

不过，我们准备先把awk中最特殊的模式展示给大家，以后再介绍普通的模式，因为普通模式需要的篇幅比较长，所以我们先来总结特殊模式。

AWK 包含两种特殊的模式：BEGIN 和 END。

BEGIN 模式指定了处理文本之前需要执行的操作：

END 模式指定了处理完所有行之后所需要执行的操作：

什么意思呢？光说不练不容易理解，我们来看一些小例子，先从BEGIN模式开始，示例如下

述写法表示，在开始处理test文件中的文本之前，先执行打印动作，输出的内容为"aaa",“bbb”.

也就是说，上述示例中，虽然指定了test文件作为输入源，但是在开始处理test文本之前，需要先执行BEGIN模式指定的"打印"操作

既然还没有开始逐行处理test文件中的文本，那么是不是根本就不需要指定test文件呢，我们来试试。

经过实验发现，还真是，我们并没有给定任何输入来源，awk就直接输出信息了，因为，BEGIN模式表示，在处理指定的文本之前，需要先执行BEGIN模式中指定的动作，而上述示例没有给定任何输入源，但是awk还是会先执行BEGIN模式指定的"打印"动作，打印完成后，发现并没有文本可以处理，于是就只完成了"打印 aaa bbb"的操作。

这个时候，如果我们想要awk先执行BEGIN模式指定的动作，再根据执我们自定义的动作去操作文本，该怎么办呢？示例如下

上图中，蓝色标注的部分表示BEGIN模式指定的动作，这部分动作需要在处理指定的文本之前执行，所以，上图中先打印出了"aaa bbb"，当BEGIN模式对应的动作完成后，在使用后面的动作处理对应的文本，即打印test文件中的第一列与第二列，这样解释应该比较清楚了吧。

看完上述示例，似乎更加容易理解BEGIN模式是什么意思了，BEGIN模式的作用就是，在开始逐行处理文本之前，先执行BEGIN模式所指定的动作。以此类推，END模式的作用就一目了然了，举例如下。

N6:那么，我们可以结合BEGIN模式和END模式一起使用。示例如下

上述示例中返回的结果有没有很像一张"报表"，有"表头" 、“表内容”、 “表尾”，awk对文本的格式化能力你体会到了吗？