Linux文本处理常见工具

已于 2024-08-13 18:17:39 修改
阅读量764 收藏 18
点赞数 24
分类专栏： Linux文本处理 文章标签： linux 运维 服务器
于 2024-08-13 17:02:33 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/flytalei/article/details/141150390
版权

文章目录

文件内容查看

查看文本文件内容

cat

cat可以查看文本内容
格式

cat [OPTION]... [FILE]...

常见选项

-E: 显示行结束符$
-A: 显示所有控制符
-n: 对显示出的每一行进行编号
-b: 非空行编号
-s: 压缩连续的空行成一行

在这里插入图片描述
在这里插入图片描述

[root@rocky ~]# cat /data/fc.txt 
a
b
c
[root@rocky ~]# hexdump -C /data/fb.txt
00000000  61 0a 62 0a 63 0a 64 0a  0a                       |a.b.c.d..|
00000009
[root@rocky ~]# cat -A /data/fc.txt 
a^M$
b^M$
c^M$
[root@rocky ~]# file /data/fc.txt 
/data/fc.txt: ASCII text, with CRLF line terminators
[root@rocky ~]#

在这里插入图片描述
压缩连续的空行
在这里插入图片描述
cat即支持输入又支持输出，如果想临时的创建一个文件的话就可以直接使用cat不必再用vim打开了。
在这里插入图片描述

tac

tac可读键盘输入
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

rev

rev也可读取键盘输入
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

nl

显示行号，相当于cat -b
在这里插入图片描述

查看非文本文件内容

hexdump

在这里插入图片描述
在这里插入图片描述

od

od即dump files in octal and other formats
在这里插入图片描述

xxd

在这里插入图片描述

分页查看文件内容

more

可以实现分页查看文件，可以配置管道实现输出信息的分页

格式

more [OPTIONS. . .] FILE. . .

选项:

-d: 显示翻页及退出提示

more一旦翻到底就退出了，less则不会。

less

less 也可以实现分页查看文件或STDIN输出,，less命令是man命令使用的分页器。less使用的更多

查看时有用的命令包括:

/文本 搜索 文本
n/N  跳到下一个 或 上一个匹配
PgUP/PgDn 上下翻页

[root@rocky ~]# ls -R /etc/ |less

显示文本前后的行内容

head

可以显示文件或标准输入的前面行

格式:

head [OPTION] ... [FILE]...

选项:

-c num   指定获取前num字节
-n num   指定获取前num行,num如果为负数,表示从文件头取到倒数第num前
-num     同上

在这里插入图片描述
在这里插入图片描述
head也支持标准输入重定向和管道
在这里插入图片描述

tail

tail和head相反，查看文件或标准输入的倒数行

格式:

tail [OPTION].. . [FILE]...

常用选项

-c num   指定获取后num字节
-n num   指定获取后num行,如果num是负数,表示从第num行开始到文件结束-num同上
-f       跟踪显示文件fd(文件描述符)新追加的内容,常用日志监控，相当于--fo1low=descriptor, 
         当文件删除再新建同名文件,将无法继续跟踪文件
-F       跟踪文件名，相当于--fo11ow=name --retry，当文件删除再新建同名文件,将可以继续跟踪文件


tailf    类似 tail -f，当文件不增长时并不访问文件,节约资源, Centos8已经无此工具

在这里插入图片描述
tail -fn0 只监控新日志内容。
在这里插入图片描述

文件描述符

tail -f xxx跟踪的是文件描述符，

如果找到文件描述符

在这里插入图片描述
删除文件后，tail并没有报错，是因为此时f1.txt文件的描述符还在，使用-F选项则是跟踪文件名。
在这里插入图片描述

查看最新日志

[root@rocky ~]# tail -fn0 /var/log/messages
[root@rocky ~]# tail -0f /var/log/messages

范例：找出IP地址的那一行

ifconfig ens160 |head -2|tail -1

在这里插入图片描述

cut–按列抽取文本

cut命令可以提取文本文件或STDIN数据的指定列

格式

cut [OPTION]. .. [FILE]...

常用选项

-d delimiter:  指明分隔符，默认tab
-f fileds:
     num:  第num个字段,例如:3
     num,num[,num]: 离散的多个字段，例如:1,3,6
     num-num: 连续的多个字段,例如:1-6
     混合使用:1-3,7
-c  按字符切割
--output-de1imiter=STRING  指定输出分隔符

按分隔符

在这里插入图片描述
在这里插入图片描述

按字符位置

在这里插入图片描述
打开Xshell显示已复制的字符数设置
在这里插入图片描述
在这里插入图片描述

取网卡ip

在这里插入图片描述

tr–文本转换/删除/压缩

tr（translate）命令是 Linux 中的一个简单但强大的命令行工具，用于替换或删除文本中的字符。它从标准输入读取数据，并将输出结果发送到标准输出。tr 命令特别适合处理字符转换、删除、压缩重复字符等任务。

格式

tr [OPTION]... SET1 [SET2]

SET1：指定要被替换或删除的字符集。
SET2：指定替换字符集（当执行替换操作时）。

常用选项

常用选项
  -d：删除指定的字符集，而不是转换。
  -s：替换连续重复的字符为单一字符。
  -c：对指定字符集的补集进行操作，即对不在集合中的字符进行处理

转换字母大小写

在这里插入图片描述

删除字符串中的数字

在这里插入图片描述

压缩重复字符

在这里插入图片描述

先替换再删除指定字符

在这里插入图片描述

替换

在这里插入图片描述

分析文本的工具

文本数据统计：wc
整理文本：sort
比较文件：diff和patch

wc–统计文本数据

wc命令可用于统计文件的行总数、单词总数、字节总数和字符总数，可以对文件或STDIN中的数据统计。

常用选项

-l  只计数行数
-w  只计数单词总数
-c  只计数字节总数
-m  只计数字符总数
-L  显示文件中最长行的长度

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

去掉df信息的头部注释行

在这里插入图片描述
在这里插入图片描述

sort–文本排序

把整理过的文本显示在stdout，不改变原始文件。默认安装字符顺序排序

格式：

sort [options] file(s)

常用选项

-r  执行反方向（由上至下）整理
-R  随机排序
-n  执行按数字大小整理
-h  人类可读排序,如:2K 1G
-f  选项忽略（fo1d)字符串中的字符大小写
-u  选项（独特，unique)，合并重复项，即去重
-t c 选项使用c做为字段界定符
-k num  选项按照使用c字符分隔的num列来整理能够使用多次

在这里插入图片描述
按数字正序排
在这里插入图片描述
按数字倒序排
在这里插入图片描述
在这里插入图片描述

找到磁盘利用率最大的数据

df |tr -s ' ' '%'|cut -d% -f5|sort -nr|head -1

在这里插入图片描述

uniq–去重

uniq命令从输入中删除前后相邻的重复的行
格式:

uniq [OPTION]... [FILE]...

常见选项:

-c: 显示每行重复出现的次数
-d: 仅显示重复过的行
-u: 仅显示不曾重复的行

在这里插入图片描述
显示重复出现的次数
在这里插入图片描述
在这里插入图片描述

统计曰志访问量最多的请求

[root@centos8 ~]#cut -d' ' -f1 access_log |sort |uniq -c| sort -nr | head -3
4870 172.20.116.228
3429 172.20.116.208
2834 172.20.0.222

172.20.116.228的ip访问我的次数太多了4870次，肯定是个恶意请求，我要设置iptables规则，拒绝它的访问。

iptables -AINPUT -s 172.20.116.228

并发连接最多的远程主机IP

[root@centos8 ~]#ss -nt |tail -n+2 |tr -s ' ' : |cut -d: -f6 |sort |uniq -c |sort -nr |head -n2
  7 10.0.0.1
  2 10.0.0.7

取两个文件的相同和不同的行

在这里插入图片描述

比较文件

diff

diff命令比较两个文件之间的区别

-u选项来输出"统一的（unified）"diff格式文件，最适用于补丁文件

在这里插入图片描述

flytalei
关注
专栏目录
Linux_文本处理工具
weixin_44816786的博客
10-29 188
2 文本常见处理工具 2.1 文件内容查看命令 2.1.1 查看文本文件内容 2.1.1.1 cat cat 可以查看文本内容 格式： cat [OPTION]... [FILE]... 常见选项 -E：显示行结束符$ -A：显示所有控制符 -n：对显示出的每一行进行编号 -b：非空行编号 -s：压缩连续的空行成一行 范例： [root@centos8 ~]#cat -A /data/fa.txt a b$ c $ d^Ib^Ic$ [root@centos8 ~]#cat /data/fa.txt a
linux文本切割awk,文本处理工具之awk
weixin_42297439的博客
05-13 1153
文本处理工具之AWK一、linux文本处理工具三剑客：grep、sed、awk。其中grep是一种文本过滤器，sed是文本行编辑器，而awk是一种报表生成器，就是对文件进行格式化处理的，这里的格式化不是文件系统的格式化，而是对文件内容进行各种“排版”，进而格式化显示。在linux上我们使用的是GNU awk 简称 gawk，并且gawk是awk的链接文件，因此在系统上使用gawk和awk效果一样二...
Linux 文本处理工具
mzwang123的专栏
12-22 1016
一、Linux 及Unix平台 sed awk grep 这三个工具都要用到正则表达式，把常用贴出来。  1．行的匹配 [root@mypc /]# sed -n ‘2p’ /etc/passwd  打印出第2行 [root@mypc /]# sed -n ‘1,3p’ /etc/passwd 打印出第1到第3行 [root@mypc /]# sed -n ‘$p’ /etc/pass
『3-2』Linux之文本处理工具
qq_39679699的博客
03-05 773
1.grep [Globally search a Regular Expression and Print ] grep grep -E = egrep grep 格式 grep 匹配条件 处理文件 grep root passwd 过滤root关键字 grep ^root passwd grep root$ passwd grep -i root passwd grep root passwd -v grep -E "\<root" passwd root字符之前不能有字符 grep -E
linux之文本处理工具
qq_44663072的博客
07-09 1238
在日常工作中，我们通常需要对文本内容进行一些列的处理，以下来总结以下，linux对文本处理的几个工具和用法。简介：cut的工作就是"剪"，具体的说就是在文件中负责剪切数据用的。cut命令从文件的每一行剪切字节、字符和字段，并将这些字节，字符和字段输出。 （1）基本用法 cut [选项参数] filename 说明：默认分隔符是制表符 （2）选项参数说明（3）案例实操 切割ifconfig后，打印IP地址 简介：sed是一种流编辑器，它一次处理一行内容。处理时，把它处理的行存储在临时缓冲区中，称为”模式空间“
linux下文本处理工具
weixin_38227455的博客
04-24 357
文本处理工具 1diff命令   diff命令用于比较两个文件的内容，他还可以用来创建补丁文件 1.1 diff –c file1 file2 显示上下文周围的行并将比较两个文件的不同并标注起来 1.2 diff –u 使用统一输出格式 1.3  diff –r 从指定的目录开始文件执行递归式比较 2 修补命令patch 2．1  安装patch
Linux文本处理工具使用详解
01-09
`grep`、`sort`和`cut`是Linux文本处理的三大基础工具，它们各有其独特的功能，但也可以相互配合，解决复杂的文本分析任务。例如，`sort`可以配合`uniq`进行数据去重，`grep`可以与`awk`一起工作，提供更复杂的模式...
Linux 常用文本处理命令和vim文本编辑器
09-14
本文将详细介绍一些常用的Linux文本处理命令以及vim文本编辑器。 首先，我们来看一些常见的文本处理命令： 1. `col` 命令：主要用于过滤控制字符，`-b` 参数可以过滤掉所有控制字符。例如，`man ls | col -b > ls_...
linux一学就会教程vim编辑器、RAID技术、压缩工具、文本处理神器sed
最新发布
07-09
本教程涵盖了多个核心领域，包括Vim编辑器、RAID技术、压缩工具以及文本处理工具sed，旨在帮助初学者快速掌握这些实用技能。 首先，Vim编辑器是Linux环境下的强大文本编辑工具。Vim（Vi Improved）在Vi的基础上做了...
Linux教程-linux文本处理-awk.docx
11-29
Linux系统中的文本处理工具众多，其中awk是被誉为“文本处理三剑客”之一的重要成员。awk的名字来源于其三位创始人——Aho, Weinberger, Kernighan的首字母缩写，它最初是在AT&T实验室开发的。现在，我们最常见的awk...
linux文本处理工具awk命令详解
10-28
linux文本处理工具awk命令详解，超详细的讲解awk命令，更多实战案例
linux文本工具,Linux的文本处理工具（一）
weixin_36337389的博客
05-04 172
在linux上操作时，熟悉几个shell命令是必不可少的技能，比如grep，sed，sort等。下面以几个例子来说明几种常见的用法 #### grepgrep是Linux中强大的文本搜索工具，用其来查找文本是相当方便的grep命令格式为：grep [OPTION] PATTERN [FILE]常用选项：-A ： 除了显示匹配上的行外，并显示该行之后的内容，可以理解为after-B ： 除了显示匹...
Linux-文本常见处理工具
flytalei的博客
05-23 220
文章目录cat--查看文本文件内容 cat–查看文本文件内容 格式 cat [option]... [file].. 常见选项 -E: 显示行结束符$ -A: 显示所有控制符(tab键、换行等，将来有可能就是因为这些不可见字符导致文件的格式不正确) -n: 对显示出的每一行进行编号 -b: 非空行编号(是空行的就不加编号) s: 压缩连续的空行成一行 #cat还支持输入输出的指令，临时创建一个简单的文件的话就不用使用vim命令了 #一个简单的创建文件的编辑工具 cat > /data/f3.
Linux文本处理工具总结
xixixilalalahaha的博客
06-02 374
文本处理工具 grep 作用:行过滤 用法: grep [选项] ‘关键字’ 文件名 常用选项: -o: 只显示匹配PATTERN 部分的行 -i: 条件忽略大小写 -B NUM:打印文本及其前面NUM 行 -A NUM:打印文本及其后面NUM 行 -C NUM:打印文本及其前NUM 行和后NUM行 -n:输出时带行号 -v:输出选中不匹配的行 -w:仅输出完全匹配字词的行 -E:关键词为扩展正则表达式 cut 作用:列截取 用法: cut [选项] 文件 常用选项: -c [列表]:只选中指定的这些字符
Linux的文本处理工具
伴读小书童
07-29 306
Linux上有庞大的文本处理工具，功能完善、高效。现在介绍下常用的几个命令。 一.less和cat cat用于查看文件的内容。不管文件里有多少内容都会列举出来。如果是较长的文件，则不便于浏览。 $扩展，tac表示以行为单位，倒序查看。rec表示将一行的内容倒序查看。 less，用于分页查看文件内容。 在浏览时，可以对文件进行翻页。 向前翻半页 ：u，向后
Linux文本处理工具
Gremmie的博客
03-18 888
感谢阅读！ 本篇博客主要介绍如下内容 PS：其中的课件都是来源于我的恩师邵娇芳老师的课堂ppt,借用过来写博客她应该不会怪我吧~嘿嘿 awk: 文本级数据处理编程语言 可获取并打印特定内容 名字来源于。。。。 awk 语法规则 awk [options] -f profile file awk [options] 'program'file 常用选项 读取脚本的方式 —————————————————————————————— 程序脚本中变量的各种含义.
【Linux】文本处理工具
藏经阁 | 玄苦
05-31 316
一. find 文件查找 查找txt和pdf文件：find . ( -name “.txt" -o -name ".pdf” ) -print 查找所有非txt文件：find . ! -name “*.txt” -print 指定深度搜索：find . -maxdepth 1 -type f 按类型搜索：find . -type d -print //只列出所有目录 -type f 文件 -t...
linux文本处理工具
04-10
Linux 文本处理工具是用于在 Linux 操作系统中处理文本文件的工具，例如文本编辑器、命令行工具和脚本语言等。这些工具可以帮助用户快速地编辑、修改...常见的 Linux 文本处理工具包括 Vim、Emacs、grep、awk、sed 等。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值