Shell文本处理(一)

已于 2024-10-12 21:34:16 修改
阅读量1k 收藏 11
点赞数 9
分类专栏： Linux # Shell 文章标签： linux shell
于 2024-08-25 18:03:03 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_55629186/article/details/141529671
版权

Shell文本处理一





文本处理是Shell中的一个重要领域，它允许你从文本数据中提取有用的信息，执行搜索、替换、格式化和过滤等操作。这对于日志分析、数据清洗、配置文件管理等任务非常有用

Shell中常用的文本处理工具有：cat、find、grep、sed、awk、sort、uniq、tr、cut、paste、wc等

1、cat指令


cat（Concatenate）指令主要用于查看文件内容或将多个文件连接并打印到标准输出设备上

cat指令的功能包括但不限于：

  • 查看文件内容：cat file将指定文件的内容输出到终端上
  • 连接/合并文件：cat file1 file2将file1和file2的内容连接起来，并将结果输出到终端上

cat指令的语法格式如下：

cat [选项] 文件列表

常用选项如下：

  • -n：显示行号（在输出的每行前面添加行号）
  • -b：显示行号（只在非空行前面添加行号）
  • -s：当有多个连续空行时，只显示一个空行

以下是一些示例：

# 显示文件内容，并在每行前面添加行号
cat -n file.txt
# 将file1和file2的内容合并输出到file3中
cat file1.txt file2.txt > file3.txt

2、find指令


find指令主要用于在指定目录下递归查找文件和目录，它可以使用不同的选项来过滤和限制查找结果

find指令的语法格式如下：

find [路径] [选项] [动作]
  • 路径：要查找的目录路径，多个路径之间用空格分隔，默认为当前目录
  • 选项：常用选项及其匹配条件如下：
    • -name pattern：按文件名查找，支持使用通配符*和?，默认区分大小写，忽略大小写使用-iname
    • -type type：按类型查找，包括f（普通文件）、d（目录）等
    • -maxdepth depth：指定查找深度，默认递归查找
    • -regex regex：指定正则查找，默认区分大小写，忽略大小写使用-iregex
    • -size size：按文件大小查找，+/-表示大于或小于指定大小，单位包括k（KB）、M（MB）或 G（GB）等
    • -perm perm：按权限查找，例如755权限
  • 动作：筛选匹配到的文件执行过的操作，例如n分钟内被修改过

以下是一些示例：

# 按类型查找：递归查找指定目录下的所有文件
find 目录 -type f
# 按文件名查找：递归查找指定目录下的所有.txt文件
find 目录 -type f -name "*.txt"
# 按文件名查找（忽略大小写）
find 目录 -type f -iname file.txt
# 查找指定目录下的所有非file.txt文件
find 目录 -type f ! -iname file.txt
# 指定搜索深度查找
find 目录 -maxdepth 1 -type f
# regex正则查找，iregex忽略大小写正则查找
find 目录 -maxdepth 1 -iregex ".*\(\.txt\|\.log\)$"
# 按文件大小查找：递归查找指定目录下大于1M的文件（小于1M：-1M，等于1M：1M）
find 目录 -type f -size +1M
# 按权限查找：递归查找指定目录下755权限的文件
find 目录 -type f -perm 755
# 查找最近7天被修改过的文件
find 目录 -type f -mtime -7

3、grep指令


grep（Global Regular Expression Print）指令是一个强大的文本搜索工具，它可以使用正则表达式来搜索匹配的行

grep指令的语法格式如下：

grep [选项] pattern 文件列表
  • pattern：要查找的字符串或正则表达式
  • <
最低0.47元/天 解锁文章
对许
关注
专栏目录
SHELL文本处理三剑客（sed、grep、awk）
MYS_Sunshine的博客
06-25 756
一、sed 1. 基本介绍 1）sed行编辑器 stream editor 用来操作纯 ASCII 码的文本 处理时,把当前处理的行存储在临时缓冲区中,称为“模式空间”(pattern space)可以指定仅仅处理哪些行 sed 符合模式条件的处理 不符合条件的不予处理 处理完成之后把缓冲区的内容送往屏幕 接着处理下一行,这样不断重复,直到文件末尾 2）调用 sed ...
9.1 shell文本处理
QiuSaMa的博客
10-06 552
通常shell脚本最大的用途就在于解析和显示文本文件中的数据，比如日志文件和错误文件。 Linux环境包含了两个非常有用的工具：sed和gawk，两者都能够在shell脚本中处理文本数据。 1.sed编辑器 sed编辑器被称为流编辑器（stream editor），和普通的交互式文本编辑器恰好相反。 在交互式文本编辑器中（如vim），可以用键盘命令来交互式地插入、删除或替换数据中的文本。 流编辑器则会在编辑器处理数据之前基于预先提供的一组规则来编辑数据流。 sed编辑器可以根据命令来处理数
Shell常用的文本处理命令总结
penzo的专栏
12-03 943
awk:awk ‘print{$1,$2}’ grade.txt             打印单独记录awk ‘BEGIN print{“Name         Belt/n-------------------------------”} print{$1”/t”$4} END {print “end-of-report”}’ grade.txt          打印报告头尾awk ‘$4 ~ /48/ {print $0}’ grade.txt                   匹配awk ‘$4
shell脚本-文本处理三剑客
最新发布
czzwa的博客
09-11 507
grep----过滤、筛选grep "字符串"grep -v "字符串"grep ^"字符串" 以....开头grep "字符串"$grep ^$ 空行grep -i 不区分大小写grep -o 只显示匹配的部分。
linux--shell 文本处理工具
ltsazx的博客
09-04 166
shell 文本处理工具 一、grep 命令 grep root passwd #过滤root关键字 grep ^root passwd ##以root开头 grep root$ passwd ##以root结尾 grep -i root passwd ##后略大小写 grep -E “<root” passwd ##root字符之前不能有字符 grep -E “root>” passwd ##root字符之后不能有字符 grep -数字 ##显示过滤行以及上面几行和下面几行
07_SHELL编程之文本处理工具sed
weixin_43718250的博客
03-12 239
二、强悍的sed介绍 1. sed用来做啥？ sed是Stream Editor（流编辑器）的缩写，简称流编辑器；用来处理文件的，尤其是在脚本中处理文件。（直接修改源文件，不需要交互） 2. sed如何处理文件？ sed是一行一行读取文件内容并按照要求进行处理，把处理后的结果输出到屏幕。 首先sed读取文件中的一行内容，把其保存在一个临时缓存区中（也称为模式空间） 然后根据需求处理临时缓冲...
SHELL_学习之路（3）文本处理
sr_1114的博客
12-23 182
1）grep,egrep grep -i ##忽略字母大小写 -v ##条件取反 -c ##统计匹配行数 -q ##静默，无任何输出 -n ##显示匹配结果所在的行号 -q: [root@server mnt]# grep '172.25.254.250' /etc/hosts &amp;&amp; echo 'YES' || echo 'NO' 172.25.254.250 ...
shell 文本处理命令
qq_52485122的博客
05-26 511
一：使用grep、sed、cut、awk文本处理命令解决实际问题。 Bash Shell提供了功能强大的文件处理工具： sed（流编辑器stream editor）和awk，都可使用正则表达式进行模式匹配。而grep又有助于理解sed和awk。 通配符 ：shell通配符 1.1 学习和使用grep grep是Linux中使用最广泛的命令之一。grep（全局正则表达式版本）允许对文本文件进行模式查找。如果找到匹配模式，grep打印包含模式的所有行。grep支持基本正则表达式，也支持其扩展集。 本节主要讨论以
Shell文本处理三剑客之sed的使用
01-08
sed 是 stream editor 的缩写，流编辑器，主要用于对标准输出或文件进行处理。 语法： stdout | sed [option] pattern command sed [option] pattern command file1 常用选项（option） # -n 只打印静默模式匹配...
Shell文本处理工具–awk
12-21
总之，awk 是一个强大的文本处理工具，通过理解其基本语法和内置变量，我们可以高效地处理各种复杂的文本数据处理任务。在 shell 脚本中，awk 提供了一种简洁的方法来分析和操作文本文件，对于系统管理员和程序员来...
shell 文本处理
weixin_61428407的博客
09-03 485
shell正则表达式、grep、sed、awk
shell-文本处理
lm236236的博客
12-25 217
1.grep,egrep egrep是grep的扩展 grep -i 忽略字母大小写 -v 条件取反 -c 统计匹配行数 -q 静默，无任何输出 -n 显示匹配结果所在的行号 -i: -v: [root@desktop8 脚本]# grep -v 'sbin' /etc/passwd root:x:0:0:root:/root:/bin/bash stu...
shell文本处理
just_easy的专栏
08-30 1888
最于文件的操作以前都是用高级编程语言来操作的。今天恰好需要将一个目录中的文件信息存储到sqlite3数据库中（我用linux中的工具和shell来作为自己毕业设计做原型开发）。下面记录一下这里用到的部分知识，以作备忘。(用ls命令来说明）。 1.关于shell中的管道和重定
Linux Shell 文本处理命令
zhaoyang10的专栏
12-20 253
本文将介绍 Linux 下使用 Shell 处理文本时最常用的工具： find、grep、xargs、sort、uniq、tr、cut、paste、wc、sed、awk； 提供的例子和参数都是最常用和最为实用的； 对 shell 脚本使用的原则是命令单行书写，尽量不要超过 2 行； 如果有更为复杂的任务需求，还是考虑 python 吧； 01 find 文件查找 1 查找 txt 和 pdf 文件...
Shell编程之文本处理
u012948302的专栏
11-22 2138
在日常工作学习中，不免经常要对文本文件（例如日志文件）进行处理工作，包括但不限于分割、查找、替换、删除等操作，`Shell` 中有没有相应的命令供我们使用呢？那么本篇文章，我们就一起来学习下吧！
SHELL学习基本篇-----文本处理（二）
ly2020_的博客
06-10 332
 上一篇博客中我们已经详细介绍了shell脚本中文本处理命令三剑客中的grep、sed，本篇博文将详细介绍剩余的awk命令。 1 awk:报告生成器 awk报告生成器处理机制：awk会逐行处理文本，支持在处理第一行之前做一些准备工作，以及在处理完最后一行做一些总结性的工作，在命令格式上分别体现如下： BEGIN{}:读入第一行文本之前执行，一般用来初始化操作 {}:逐行处理，逐行读入文本执行相应的...
shell-文本处理工具
qq_43604376的博客
03-05 625
shell 文本处理工具shell一、grep （Globally search a Regular Expression and Print）练习二、sed练习2三.awk练习3： 一、grep （Globally search a Regular Expression and Print） grep grep -E = egrep ##grep 格式## grep 匹配条件 处理文件 grep root passwd #过滤root关键字 grep -i root passwd ##后略大小写
Shell之高效文本处理命令
aran2002的博客
05-15 991
将输入的字符串 "abc" 中不包含字符 "ab" 的部分替换为字符 "a"，而包含字符 "ab" 的部分保持不变。对文件 "11.txt" 中的内容按照数字进行排序，并且将重复的换行符压缩为一个换行符。删除输入字符串中的字符 "a" 和 "b"
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值