linux常用命令总结之二（文本处理命令）_linux查文本里某个条件命令-CSDN博客

linux常用命令总结之二（文本处理命令）

文章目录

linux常用命令总结之二（文本处理命令）
前言
文本处理命令

前言

linux的命令系统功能丰富，学习一下。
内容大部分查阅自菜鸟教程linux命令大全（https://www.runoob.com/linux/linux-command-manual.html）

文本处理命令

1.grep

命令用于查找文件里符合条件的字符串
语法：

grep [option] pattern files

grep命令是linux中一种强大的文本搜索工具，它能使用正则表达式搜索文本，并把匹配的行打印出来
几个例子：
1.在当前目录中，查找后缀有 file 字样的文件中包含 test 字符串的文件，并打印出该字符串的行。此时，可以使用如下命令：

grep test *file

2.以递归的方式查找符合条件的文件。例如，查找指定目录/etc/acpi 及其子目录（如果存在子目录的话）下所有文件中包含字符串"update"的文件，并打印出该字符串所在行的内容，使用的命令为

$ grep -r update /etc/acpi

3.反向查找。前面各个例子是查找并打印出符合条件的行，通过"-v"参数可以打印出不符合条件行的内容。
查找文件名中包含 test 的文件中不包含test 的行，此时，使用的命令为：

grep -v test *test*

关于grep命令，这位大神讲的很详细了：http://t.csdn.cn/zGiHf

2. awk 命令

AWK 是一种处理文本文件的语言，是一个强大的文本分析工具。
之所以叫 AWK 是因为其取了三位创始人 Alfred Aho，Peter Weinberger, 和 Brian Kernighan 的 Family Name 的首字符。
awk 对输入文件中的全部指定行执行脚本命令
语法：

awk '{pattern + action}' {filenames}

几个例子：
1.#每行按空格或TAB分割，输出文本中的1、4项

 $ awk '{print $1,$4}' log.txt

2.awk -F #指定分隔符

使用","分割，打印地1、2项
$   awk -F, '{print $1,$2}'   log.txt

3.awk -v # 设置变量

awk -va=1 '{print $1,$1+a}' log.txt

4.awk -f #使用awk脚本
关于awk命令，可以看这篇专栏：https://www.cnblogs.com/ginvip/p/6352157.html，讲解的很好

3. sed命令

sed 是 stream editor 的缩写，中文称之为“流编辑器”。
sed 命令是一个面向行处理的工具，它以“行”为处理单位，针对每一行进行处理，处理后的结果会输出到标准输出。
sed 命令是很“礼貌”的一个命令，它不会对读取的文件做任何贸然的修改(除非加上-i选项)，而是将内容都输出到标准输出中。（这个很妙的比喻来源于https://blog.csdn.net/m0_50111062/article/details/126882497）
语法：

sed [选项] [脚本命令] 文件名

几个例子：

a、i 新增命令:sed ‘a(i)\新文本内容’

第三行插入一行
[root@localhost ~]# sed '3i\
> This is an inserted line.' data6.txt
This is line number 1.
This is line number 2.
This is an inserted line.
This is line number 3.
This is line number 4.

d 删除命令: sed ‘n1,n2d’

将 testfile 的内容列出并且列印行号，同时将第 2~5 行删除
$ nl testfile | sed '2,5d'
     1  HELLO LINUX!  
     6  Taobao
     7  Runoob
     8  Tesetfile
     9  Wiki

c 替换命令 sed ‘c\用于替换的新文本’

[root@localhost ~]# sed '3c\
> This is a changed line of text.' data6.txt
This is line number 1.
This is line number 2.
This is a changed line of text.
This is line number 4.
在这个例子中，sed 编辑器会修改第三行中的文本

4.y 转换脚本命令 sed ‘y/inchars/outchars/’
转换命令会对 inchars 和 outchars 值进行一对一的映射，即 inchars 中的第一个字符会被转换为 outchars 中的第一个字符，第二个字符会被转换成 outchars 中的第二个字符…这个映射过程会一直持续到处理完指定字符。如果 inchars 和 outchars 的长度不同，则 sed 会产生一条错误消息。

举个简单例子：
[root@localhost ~]# sed 'y/123/789/' data8.txt
This is line number 7.
This is line number 8.
This is line number 9.
This is line number 4.
This is line number 7 again.
This is yet another line.
This is the last line in the file.
可以看到，inchars 模式中指定字符的每个实例都会被替换成 outchars 模式中相同位置的那个字符。

5.s 替换命令sed ‘s/pattern/replacement/flags’
其中sed s命令flags标记及功能表格如下

flags 标记	功能
n 1~512 之间的数字	表示指定要替换的字符串出现第几次时才进行替换，例如，一行中有 3 个 A，但用户只想替换第二个 A，这是就用到这个标记；
g 对数据中所有匹配到的内容进行替换	如果没有 g，则只会在第一次匹配成功时做替换操作。例如，一行数据中有 3 个 A，则只会替换第一个 A；
p 会打印与替换命令中指定的模式匹配的行	此标记通常与 -n 选项一起使用。
w file	将缓冲区中的内容写到指定的 file 文件中；
&	用正则表达式匹配的内容进行替换；
\n	匹配第 n 个子串，该子串之前在 pattern 中用 () 指定。
\	转义（转义替换部分包含：&、\ 等）。

比如，可以指定 sed 用新文本替换第几处模式匹配的地方：
[root@localhost ~]# sed 's/test/trial/2' data4.txt
This is a test of the trial script.
This is the second test of the trial script.

可以看到，使用数字 2 作为标记的结果就是，sed 编辑器只替换每行中第 2 次出现的匹配模式。

如果要用新文件替换所有匹配的字符串，可以使用 g 标记：
[root@localhost ~]# sed 's/test/trial/g' data4.txt
This is a trial of the trial script.
This is the second trial of the trial script.


我们知道，-n 选项会禁止 sed 输出，但 p 标记会输出修改过的行，将二者匹配使用的效果就是只输出被替换命令修改过的行，例如：
[root@localhost ~]# cat data5.txt
This is a test line.
This is a different line.
[root@localhost ~]# sed -n 's/test/trial/p' data5.txt
This is a trial line.


w 标记会将匹配后的结果保存到指定文件中，比如：
[root@localhost ~]# sed 's/test/trial/w test.txt' data5.txt
This is a trial line.
This is a different line.
[root@localhost ~]#cat test.txt
This is a trial line.


在使用 s 脚本命令时，替换类似文件路径的字符串会比较麻烦，需要将路径中的正斜线进行转义，例如：
[root@localhost ~]# sed 's/\/bin\/bash/\/bin\/csh/' /etc/passwd

以上是sed比较常用的命令，推荐看这篇博客http://c.biancheng.net/view/4028.html

4. sort、wc、命令

sort 命令用于将文本文件内容加以排序。

sort 可针对文本文件的内容，以行为单位来排序。
语法：

sort file 
使用 sort 命令重排后的结果如下：
$ sort testfile # 重排结果  
Hello 95  
Linux 85  
test 30

默认以ASCII码进行排序

wc命令用于计算字数。

利用wc指令我们可以计算文件的Byte数、字数、或是列数，若不指定文件名称、或是所给予的文件名为"-"，则wc指令会从标准输入设备读取数据。

语法

$ wc testfile           # testfile文件的统计信息  
3 92 598 testfile       # testfile文件的行数为3、单词数92、字节数598

uniq 命令用于检查及删除文本文件中重复出现的行列，一般与 sort 命令结合使用。

uniq 可检查文本文件中重复出现的行列。
语法

testfile中的原有内容为：

$ cat testfile      #原有内容  
test 30  
test 30  
test 30  
Hello 95  
Hello 95  
Hello 95  
Hello 95  
Linux 85  
Linux 85 
使用uniq 命令删除重复的行后，有如下输出结果：

$ uniq testfile     #删除重复行后的内容  
test 30  
Hello 95  
Linux 85 

检查文件并删除文件中重复出现的行，并在行首显示该行重复出现的次数。使用如下命令：

uniq -c testfile 
结果输出如下：

$ uniq -c testfile      #删除重复行后的内容  
3 test 30             #前面的数字的意义为该行共出现了3次  
4 Hello 95            #前面的数字的意义为该行共出现了4次  
2 Linux 85            #前面的数字的意义为该行共出现了2次 当重复的行并不相邻时，uniq 命令是不起作用的，即若文件内容为以下时，uniq 命令不起作用：
$ cat testfile1      # 原有内容 
test 30  
Hello 95  
Linux 85 
test 30  
Hello 95  
Linux 85 
test 30  
Hello 95  
Linux 85 
这时我们就可以使用 sort：

$ sort  testfile1 | uniq
Hello 95  
Linux 85 
test 30
统计各行在文件中出现的次数：

$ sort testfile1 | uniq -c
   3 Hello 95  
   3 Linux 85 
   3 test 30
在文件中找出重复的行：

$ sort testfile1 | uniq -d
Hello 95  
Linux 85 
test 30