第七章 Linux文本处理工具

最新推荐文章于 2021-05-11 21:51:02 发布
最新推荐文章于 2021-05-11 21:51:02 发布
阅读量219 收藏
点赞数
分类专栏： # Linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42428264/article/details/104348539
版权

各种文本工具来查看，分析，统计文本

文件查看

  • 文件查看命令：
    • cat,nl,tac,rev
cat
  • cat [OPTION] …[FILE]…
    • -E:显示行结束符$
    • -n：对显示出的每一行进行编号
    • -A：线索所有控制符
    • -b：只对非空行编号
    • -s：压缩连续的空行成一行
nl：相当于cat - nb(只对非空行编号，且显示行号)
tac：根cat显示的效果正好相反（从行尾开始读）
rev：把输入的行，倒着显示
more:
  • 分页显示文件内容，回车一行一行往下翻
  • -d：显示翻页及退出提示
less:
  • 一页一页地查看文件或STDIN输出查看时有用的命令包括：
  • /文本 搜索 文本
  • n/N 跳到下一个或上一个匹配
  • less 命令是man命令使用的分页器
head：
  • head [OPTION]… [FILE]…
  • -c # 指定获取前#字节(如果是负数就是去掉最后的第几个字符，例如-1，去掉最后一个字符)
  • -n # 指定获取前#行
  • -# 指定行数
  • 默认取前10行
tail:
  • tail [OPTION]…[FILE]…
  • -c # 指定获取后#字节
  • -n # 指定获取后#行
  • -# 同上
  • -f 跟踪显示文件fd新追加的内容，常用日志监控，相当于 – follow=descriptor
  • -F 跟踪文件名，相当于–follow=name–retry
tailf：
  • 类似于tail -f，当文件不增长时并不访问文件

按列抽取文本cut和合并文件paste

  • cut [OPTION]…[FILE]…

    • -d DELIMITER:指明分隔符，默认tab

    • -f FILEDS：

      • #：第#个字段
      • #，#[.#]：离散的多个字段，例如1，3，6
      • #-#：连续的多个字段，例如1-6
      • 混合使用：1-3，7

    • -c 按字符切割

    • -b 按字节切割（用于二进制）

    • –output-delimiter=STRING指定输出分隔符

  • cut详细讲解

## 示例
### 取passwd的前五行，根据：做分隔符，取第一个，第3、4、5满足条件的域默认是用：分割结果显示
cat /etc/passwd|head -n 5|cut -d : -f 1,3-5
### 
who|cut -b 2
who|cut -c 2
  • paste合并两个文件同行号的列到一行

    • paste [OPTION]…[FILE]…

    • -d 分隔符：指定分隔符，默认用TAB

    • -s：所有行合成一行显示（paste -s file1 file2 将file1的所有行合成到第一行，将file2合成到第二行。行内默认用tab分割，也可以使用-d选项指定分隔符）

    • 例 paste f1.txt f2.txt 横向合并（用tab分隔）

分析文本的工具

  • 文本数据统计：wc
  • 整理文本：sort
  • 比较文件：diff和patch
收集文本统计数据wc（word count 简写）

  • 计数单词总数、行总数、字节总数和字符总数

  • 可以对文件或STDIN中的数据运行

    • wc story.txt
    • 39 237 1901 story.txt
    • 行数 单词数 字节数

  • 常用选项

    • -l：只计数行数
    • -w：只计数单词总数
    • -c：只计数字节数总数
    • -m：只计数字符总数
    • -L：显示文件中最长行的长度
文本排序sort

  • 把整理过的文本显示在STDOUT，不改变原始文件

  • sort [OPTION] file(s)

    默认情况下，sort命令，以字母序进行文本排序（数字排序使用-n选项）

  • 常用选项

    • -r：倒序排

    • -R：随机排序

    • -n：执行按数字大小整理

    • -f：选项忽略（fold）字符串中的字符大小写

    • -u：选项（独特，unique）删除输出中的重复行

    • -t c：选项使用c做为字段界定符

    • -K #：选项按照使用c字符分隔后的第#列来整理能够使用多次

    • 例如将/etc/passwd按uid排序：

      • 1.cat /etc/passwd|sort -t: -k 3 -n
        1. sort -t: -k 3 -n /etc/passwd
uniq

  • uniq命令：从输入中删除前后相接的重复的行

  • uniq [OPTION]…[FILE]…

    • -c：显示每行重复出现的次数
    • -d：仅显示重复过的行
    • -u：仅显示不曾重复的行
    • 注：连续且完全相同方位重复

  • 常和sort命令一起配合使用：

    • sort userlist.txt | uniq -c
diff

  • 比较两个文件之间的区别

    • diff foo1.conf foo2.conf
    • 5c5
    • < use_widgets=no
    • –
    • use_widgets=yes
    • 注明第5行有区别（改变）

  • -u：显示详细信息

  • patch -b a.txt diff.log :将a.txt和b.txt比较的日志diff.log,还原成b.txt文件

文本处理三剑客grep

  • grep:文本过滤（模式：pattern 工具）

    • grep，egrep，fgrep（不支持正则表达式搜索）

  • sed：stream editor，文本编辑工具

  • awk：Linux上的实现gawk，文本报告生成器

grep

  • grep : Global search REgular expression and Print out the line

  • 作用：文本搜索工具，根据用户指定的”模式“对目标文本逐行进行匹配检查；打印匹配到的行

  • 模式：由正则表达式字符及文本字符所编写的过滤条件

  • grep [OPTIONS] PATTERN [FILE…]

    • grep root /etc/passwd
    • grep “$USER” /etc/passwd
    • grep ‘$USER’ /etc/passwd
    • grep whoami /etc/passwd

  • grep命令选项

    • –color=auto：对匹配到的文本着色显示

    • -m #：匹配#次后停止(一行算一次)

    • -v ：显示不被pattern匹配到的行

    • -i ：忽略字符大小写

    • -n ：显示匹配的行号

    • -c ： 统计匹配到的行数

    • -o ： 仅显示匹配到的字符串

    • -q ： 静默模式，不输出任何信息

    • -A #： after，表达式匹配到行的后#行

    • -B #： before，表达式匹配到行及所在行的前#行

    • -C #： context，表达式匹配到行及它所在行的前后各#行

    • -e ：实现多个选项间的逻辑or关系

      • grep -e ‘cat’ -e ‘dog’ file

    • -w ：匹配整个单词

    • -E：使用ERE

    • -F：相当于fgrep，不支持正则表达式

    • -f file ：根据模式文件处理

正则表达式

  • REGEXP:Regular Expressions,由一类特殊字符及文本字符所编写的模式，其中有些字符（元字符）不表示字符字面意义，而表示控制或通配的功能

  • 程序支持：grep，sed,awk,vim,less,nginx,varnish等

  • 分两类：

    • 基本正则表达式：BRE
    • 扩展正则表达式：ERE
      • grep -E, egrep

  • 正则表达式引擎：

    • 采用不同算法，检查处理正则表达式的软件模块
    • PCRE（Perl Compatible Regular Epressions）

  • 元字符分类：字符匹配、匹配次数、位置锚定、分组

  • man 7 regex

基本正则表达式元字符

  • 字符匹配：

    • .：匹配任意单个字符

    • []：匹配指定范围内的任意单个字符，示例：[wang] [0-9] [a-z] [a-zA-Z]

    • [^]：匹配指定范围外的任意单个字符

    • [:alnum:]：字母和数字

    • [:alpha:]：代表任何英文大小写字符，亦a-z,A-Z

    • [:lower:]：小写字母；[:upper:]：大写字母

    • [:blank:]：空白字符（空格和制表符）

    • [:space:]：水平和垂直的空白字符（比[:blank:]包含的范围广）

    • [:cntrl:]：不可打印的控制字符（退格、删除、警铃。。。）

    • [:digit:]：十进制数字；[:xdigit:]：十六进制数字

    • [:graph:]：可打印的非空白字符

    • [:print:]：可打印字符

    • [:punct:]：标点符号

  • 匹配次数：

    • 用在要指定次数的字符后面，用于指定前面的字符要出现的次数
    • * ：匹配前面的字符任意次，包括0次
      • 贪婪模式：尽可能长的匹配

  • .*：任意长度的任意字符

    • \?：匹配其前面的字符0或1次
    • \+：匹配前面的字符至少1次
    • \{n\}：匹配前面的字符n次
    • \{m,n\}：匹配前面的字符至少m次，至多n次
    • \{,n\}：匹配前面的字符至多n次
    • \{n,\}：匹配前面的字符至少n次

  • 位置锚定（尽量使用引号包起来，不然会和预料的结果不一致）：

    • 定位出现的位置

    • ^：行首锚定，用于模式的最左侧

    • $：行尾锚定，用于模式的最右侧

    • ^PATTERN$：用于模式匹配整行

      • ^$：空行
      • ^[[:space:]]*$：空白行

    • \< 或 \b：词首锚定，用于单词模式的左侧

    • \> 或 \b：词尾锚定，用于单词模式的右侧

    • \<PATTERN\>：匹配整个单词

  • 分组：

    • \(\)将一个或多个字符捆绑在一起，当作一个整体处理，如：\(root\)\+

    • 分组括号中的模式匹配到的内容会被正则表达式引擎记录于内部变量中，这些变量的命名方式为：\1,\2,\3,…

    • \1 表示从左侧起第一个左括号以及与之匹配右括号之间的模式所匹配到的字符

    • 示例：

      • \(string1\(string2\)\)
      • \1:string1\(string2\)
      • \2:string2

    • 后向引用：引用前面的分组括号中的模式所匹配字符，而非模式本身

    • 或者：\|

      • 示例：a\|b a或b
      • C\|cab C或cab
      • \(C\|c\)at Cat 或者cat

扩展正则表达式

  • egrep = grep -E

  • egrep [OPTIONS] PATTERN [FILE…]

  • 扩展正则表达式的元字符：

    • . 任意单个字符
    • []:指定范围的字符
    • [^]：不在指定范围的字符

  • 次数匹配：

    • *：匹配前面字符任意次
    • ?：0或1次
    • +：1次或多次
    • {m}：匹配m次
    • {m,n}：至少m，至多n

  • 位置锚定：

    • ^：行首
    • $：行尾
    • \< \b:语首
    • \> \b:语尾

  • 分组：

    • ()
    • 后向引用：\1,\2,...

  • 或者：

    • a|b a或b
    • C|cat C或cat
    • (C|c)at Cat或cat

文本处理三剑客Sed

  • Stream Editor,行编辑器
  • sed是一种流编辑器，他一次处理一行内容。处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”（pattern space）,接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。然后读入下行，执行下一个循环，如果没有使用诸如‘D’的特殊命令，那会在两个循环之间清空模式空间，但不会清空保留空间。这样不断重复，直到文件末尾。文件内容并没有改变，除非你使用重定向存储输出。
  • 功能：主要用来自动编辑一个或多个文件，简化对文件的反复操作，编写转换程序
  • 参考：http://www.gnu.org/software/sed/manual/sed.html

sed工具

菜鸟教程sed

  • 用法：sed [OPTION] … ‘script’ inputfile…

  • 常用选项：

      -e<script>或--expression=<script> 以选项中指定的script来处理输入的文本文件。
  
  -f<script文件>或--file=<script文件> 以选项中指定的script文件来处理输入的文本文件。
  
  -h或--help 显示帮助。
  
  -n或--quiet或--silent 仅显示script处理后的结果。通常和动作p一起使用
  
  -V或--version 显示版本信息。

  • script：

    • ‘地址命令’

  • 地址定界：

    （1）不给地址：对全文进行处理

    （2）单地址：

    #: 指定的行。
$:最后一行；
/pattern/:被此处模式所能匹配到的每一行

    （3）地址范围：

    #,#
#,+#
/pat1/,/pat2/
#,/pat1/

    （4）~:步进

    1~2	奇数行
2~2	偶数行

  • 动作说明：

    注：'[\]'表示空格,如果文本前面是空格，使用\分割a 和text；一次使用多个命令时，使用';'分割。

d	删除模式空间匹配的行，并立即启用下一轮循环

p	打印当前模式空间的内容，追加到默认输出之后

a [\]text	在指定行后面追加文本，支持使用\n实现多行追加

i [\]text	在行前面插入文本

c [\]text	替换行为单行或多行文本

w /path/file	保存模式匹配的行至指定文件

r /path/file	读取指定文件的文本至模式空间中匹配到的行后

=	为模式空间的行打印行号

!	模式空间中匹配行取反处理

  • s/// 查找替换，支持使用其它分隔符，s@@@，s###

  • 替换标记：

    g	行内全局替换
p	显示替换成功的行
w /PATH/FILE	将替换成功的行保存至文件中
sed命令：
  • 格式：sed -n “开始行，结束行p” 文件名
  • sed -n ‘7,15p’ filiname 输出第7行到第15行的内容
  • sed -n '6p;26,40p; ’ filename 输出第6行 和 26到40行
  • sed -n 5p filename 输出第5行

高级命令

p:	打印模式空间开端至\n内容，并追加到默认输出之前
h:	把模式空间中的内容覆盖至保持空间中
H:	把模式空间中的内容追加至保持空间中
g:	从保持空间取出数据覆盖至模式空间
G:	从保持空间取出内容追加至模式空间
x:	把模式空间中的内容与保持空间中的内容进行互换
n:	读取匹配到的行的下一行覆盖至模式空间
N:	读取匹配到的行的下一行追加至模式空间
d:	删除模式空间中的行
D:	如果模式空间包含换行符，则删除直到第一个换行符的模式空间中的文本，并不会读取新的输入行，而使用合成的模式空间重新启动循环。如果模式空间不包含换行符，则会像发出d命令那样启动正常的新循环

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

胸大的请先讲
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Linux_Shell脚本学习第四章-让文本飞(上)
qq_36521904的博客
10-08 627
一、使用正则表达式 1.1 正则表达式的规则 1.1.1 位置标记 **位置标记锚点（position marker anchor）是标识字符串位置的正则表达式。**默认情况下，正 则表达式所匹配的字符可以出现在字符串中任何位置，如下图。 1.1.2 标识符 标识符是正则表达式的基础组成部分。它定义了那些为了匹配正则表达式，必须存在（或不 存在）的字符，如下图。 1.1.3 数量修饰符 一个标...
Linux 文本处理工具练习
Chikin_Cheng的博客
11-01 958
一、找出ifconfig “网卡名” 命令结果中本机的IPv4地址 ifconfig eth0 | head -n 2 | tail -n 1 | tr -s ' ' : | cut -d : -f 4 [root@centos6 ~]#ifconfig eth0 | head -n 2 | tail -n 1 | tr -s ' ' : | cut -d : -f 4 192.168.30...
第七章 Shell文本处理三剑客之sed
weixin_33716557的博客
01-05 186
本章大纲：7.2 sed流编辑器，过滤和替换文本。工作原理：sed命令将当前处理的行读入模式空间进行处理，处理完把结果输出，并清空模式空间。然后再将下一行读入模式空间进行处理输出，以此类推，直到最后一行。还有一个空间叫保持空间，又称暂存空间，可以暂时存放一些处理的数据，但不能直接输出，只能放到模式空间输出。这两个空间其实就是在内存中初始化的一个内存区域，存放正在处理的数据和临时存放的数据。Usag...
linux diff中文乱码,Linux基础之文本处理命令（wc,cut,sort,uniq,diff,patch）
weixin_39622289的博客
05-11 137
我相信大家在使用Linux过程中总会遇到想要提取某些自己需要的信息的情况，比如如下这四种情况：1、找出ifconfig命令结果中eno16777728的IPv4地址2、查出分区空间使用率的最大百分比值3、查出/tmp的权限，以数字方式显示这个时候，我们使用命令当然也可以查看，不过还需要自己通过眼睛去过滤不需要的信息，多费劲。如何让自己更轻松的看到自己想看到自己想看的信息呢？今天的文本处理命令能满足...
tail、tailf、tail -f、tail -F详解
zl_384024097的博客
05-01 4722
tail tail 命令的作用是输出文件尾部，默认是打印文件最后10行到标准输出。若指定多个文件，则会依次处理各给定文件，并以文件名作为头部信息。形如： tail file1 file2 ==> file1 <== line1 ... line10 ==> file2 <== line1 ... line10 1 2 3 4 5 6 7 8 9 10 tail -f t...
文本处理命令sort和uniq，文件比较和应用更改命令diff、patch
weixin_33885676的博客
03-13 100
文本处理命令sortuniqsort命令:sort命令的功能是对文件中的各行进行排序 格式：sort [opt] file1,file2…根据从输入行抽取的一个或多个关键字进行比较来完成排序，默认以整行为关键字按ASCII字符顺序进行排序 sort常用选项:-m 若给定文件已排好序，合并文件-c 检查给定文件是否已排好序，如果它们没有都排好序，则打印一个出错信息-o 输出文...
Linux文本处理工具使用详解
09-14
以上就是对Linux文本处理工具的简单使用介绍。实际上，这些工具的功能远不止于此，它们可以通过组合使用，实现更复杂的文本处理任务。熟练掌握这些工具，能大大提高你在Linux环境中的工作效率。如需了解更多相关内容...
Shell文本处理工具–awk
12-21
`awk` 是一个强大的文本分析和处理工具，广泛用于Linux和Unix系统中。它允许用户根据指定的模式或条件处理文本文件，进行数据提取、格式转换、数据分析等任务。在 shell 脚本中，awk 提供了一种简洁且灵活的方式来...
第10章Linux网络管理与网络服务.ppt
11-23
《第10章 Linux网络管理与网络服务》深入解析 Linux网络管理是系统运维中至关重要的一环，本章主要探讨了Linux系统中的网络配置、图形界面网络管理、常用网络命令以及核心网络服务。以下是各部分的详细说明： 一、...
20款Linux 网络工具介绍.docx
最新发布
11-06
Linux 网络工具介绍 Linux 操作系统提供了许多实用的网络工具，帮助用户监控和管理网络流量。这些工具可以根据不同的需求和场景选择使用，以下是 20 款 Linux 网络工具的介绍： 1. nethogs nethogs 是一个免费的...
少量Linux练习题（附答案）
weixin_30426957的博客
08-23 8490
1.如果我在当前在/目录下，之后执行了以下操作，请告诉我，最后我所在的目录位置 cd /etc/sysconfig/ cd .. cd .. cd - cd ~ cd .. 根目录 / 2.当前用户是root用户，当前所在位置是/usr/local ，输入cd命令后，当前所在目录是哪里？ 用户的家目录 3.显示当前所在位置信息 pwd 4.批量创建oldboy01,oldboy02,.....
使用File类打印文件信息
weixin_45282014的博客
06-06 677
打印文件信息 File 文件名称 level 层次数 package SomeClass; import java.io.File; import java.util.Arrays; public class TestFile { public static void main(String[] args) { File f = new File("E:\\MyJava"); printfFile(f,0); } static void p.
Linux磁盘空间使用率100%解决办法
19：30的博客
08-21 8527
Linux磁盘空间使用率100%解决办法磁盘空间使用率很高的解决办法事情发生的原因方法一：删除未被进程引用的大文件、方法二：删除被磁盘引用的大文件总结 磁盘空间使用率很高的解决办法 事情发生的原因 本人在服务器上面部署了一个java项目，项目中使用了RabbitMQ 消息中间件，项目有一个功能是，用户登录后会发一封邮件到登录用户的邮箱（这里就是使用RabbitMQ 异步完成）。为了给其他人观看项目，我就新建了一个账号，但是忘记了存储邮箱，所以发送消息后，消息发送邮件时一直报错。就导致日志文件变得无比大，后面
第三章 Linxu文件系统及操作
19：30的博客
02-12 1564
文件系统结构元素 文件系统 文件和目录被组织成一个单根倒置树结构 文件系统从根目录下开始，用“/”表示 根文件系统（rootfs）:root filesystem 文件名称区分大小写 以 . 开头的文件为隐藏文件 路径分割的 / 文件有两类数据： 元数据：metadata 数据：data 文件系统分层结构：LSB Linux Standard Base FHS（Filesystem Hi...
CentOS 7 mail 发送邮件
19：30的博客
04-14 1195
在要发送邮件的邮箱里设置POP3/IMAP/SMTP/Exchange/CardDAV/CalDAV服务 往下滑，找到POP3服务，点击生成授权码 在家目录里创建一个 .mailrc 这里from、smtp-auth-user属性的值是要发送邮件的地址。smtp-auth-password属性的值是上一步的授权码 set from=1696741038@qq.com set smtp=smt...
第十一章 磁盘存储和文件系统
19：30的博客
05-10 991
磁盘存储和文件系统磁盘结构与分区方式MBR和GPT磁盘存储和文件系统内容概述1.磁盘结构：1.1设备文件1.2硬盘类型1.3机械硬盘和固态硬盘1.4硬盘存储术语2 管理存储2.1磁盘分区**2.1.1为什么分区****2.1.2分区方式****2.1.2.1 MBR分区****2.1.2.2 GPT分区****2.1.3 BIOS和UEFI **分区相关管理工具**2.1.3 管理分区****2.1.3.1 parted命令****2.1.3.2 分区工具fdisk和gdisk**2.2 文件系统**2.2
第十二章 脚本进阶
19：30的博客
05-10 487
脚本进阶1.SHELL脚本编程进阶1.1 循环1.1.1 循环执行介绍1.2 for循环1.1.2 三个范例1.2.3 练习:用for实现1.2 while循环1.2.1 范例1.2.2 无限循环1.2.3 while 特殊用法1.2.4 练习:用while实现1.3 until循环1.3.1 无限循环1.4 循环控制语句1.4.1 循环体控制语句：continue1.4.2 循环控制语句 break1.4.3 循环控制shift命令1.4.3.1 范例：1.4.3.2 练习1.5 select循环与菜单2
第一章 Linux基础命令
19：30的博客
01-13 349
终端terminal 1.设备终端：键盘、鼠标、显示器 2.物理终端（/dev/console）:控制台 console 3.串行终端（/dev/ttyS#）ttyS 4.虚拟终端（tty:teletypewriters, /dev/tty#）:tty 可以有n个，Ctrl + Alt + F# 5.图形终端（/dev/tty7）:startx,xwindows, CentOS6:Ctrl + ...
Linux/Unix下的文本处理利器：Awk入门教程
它支持用户自定义函数和动态正则表达式，是Linux/Unix下强大的文本处理工具。通常在命令行中或作为脚本使用。awk的工作方式是逐行扫描文件，根据指定的模式对匹配的行执行操作。在未指定动作时，默认将匹配的行输出...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值