shell处理工具

最新推荐文章于 2023-09-16 10:31:49 发布
最新推荐文章于 2023-09-16 10:31:49 发布
阅读量153 收藏
点赞数
分类专栏： linux 基础学习 文章标签： linux shell 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ninimino/article/details/108252627
版权

shell处理工具

1.grep

grep
grep -E = egrep
在某些机器上，要使用-E参数才能进行逻辑匹配

1.1grep 格式

grep 匹配条件 处理文件

grep root passwd		#过滤root关键字
grep ^root passwd		##以root开头
grep root$ passwd		##以root结尾
grep -i root passwd 		##后略大小写
grep -E "\<root" passwd		##root字符之前不能有字符
grep -E "root\>" passwd		##root字符之后不能有字符
grep -数字			##显示过滤行以及上面几行和下面几行
grep -n 			##显示匹配的行所在行号
grep -A				##显示过滤行以及下面几行
grep -B				##显示过滤行以及上面几行
grep -v				##反向过滤

在这里插入图片描述
在这里插入图片描述

1.2grep字符数量匹配规则

^westos				##以westos开有
westos$				##以westos结尾
w....s				##w开头s结尾中间4个任意字符
.....s				##s结尾前面5个任意字符
*				##字符出现1任意
?				##0到1次
+				##1次到任意次
{n}				##n此
{m,n}				##m到n次
{0,n}				##0-n次
{,n}				##0-n次
{m,}				##最少m次
(lee){2}			##lee字符串出现2次

在这里插入图片描述

2.sed

2.1命令格式：

sed 参数 命令 处理对象
sed 参数 处理对象 -f 处理规则文件

2.2对字符的处理

2.2.1p ##显示

sed -n  5p westos		##显示第五行
sed -n  3,5p westos		##显示3到5行
sed -ne  "3p;5p westos		##显示3和5行
sed -ne 1,5p westos		##1-5行
sed -ne '5,$p'	westos		##5到最后以行
sed -n '/^#/p' fstab		##显示以#开头的行

2.2.2d ##删除

sed 5d	westos			##删除第五行
sed '/^#/d'	fstab		##把#开头的行删除
sed '/^UUID/!d' fstab		##除了UUID以外的行都删除
sed -e '5,$d' westos		##删除第5行到最后一行

删除第三行

[root@client lzy2]# sed 3d westos2
     1	
     2	#
     4	# Created by anaconda on Sat Aug 22 08:47:43 2020
     5	#

删除以#开头的行

[root@client lzy2]# sed '/^#/d' fstab    ##删掉以#开头的行

UUID=12364ce4-e12c-4b77-ba1d-d03727c970b2 /                       xfs     defaults        0 0
UUID=3ab7dcd6-40c3-4e17-9d82-c59dbe73fb4d /boot                   xfs     defaults        0 0

删除文件中的空行及以#开头的行

[root@client lzy2]# sed -e '/^$/d;/^#/d' fstab   ###删除文件中的空行及以#开头的行
UUID=12364ce4-e12c-4b77-ba1d-d03727c970b2 /                       xfs     defaults        0 0
UUID=3ab7dcd6-40c3-4e17-9d82-c59dbe73fb4d /boot                   xfs     defaults        0 0

[root@client lzy2]# cat fstab
UUID=12364ce4-e12c-4b77-ba1d-d03727c970b2 /                       xfs     defaults        0 0
UUID=3ab7dcd6-40c3-4e17-9d82-c59dbe73fb4d /boot                   xfs     defaults        0 0
UUID=ce885f30-ece3-4e6b-9717-a911672d57ae swap                    swap    defaults        0 0
UUID=a6f2a133-0953-4f22-9797-43533ab7e29c   /iscsidisk     xfs    defaults,_netdev        0 0

删除最后一行

[root@client lzy2]# sed -e '$d' fstab   ###$d :最后一行
UUID=12364ce4-e12c-4b77-ba1d-d03727c970b2 /                       xfs     defaults        0 0
UUID=3ab7dcd6-40c3-4e17-9d82-c59dbe73fb4d /boot                   xfs     defaults        0 0
UUID=ce885f30-ece3-4e6b-9717-a911672d57ae swap                    swap    defaults        0 0
[root@client lzy2]#

2.2.3a ##添加

sed -e '$a hello world' fstab
sed -e '$a hello\nworld' fstab
sed -e '/^#/a hello world' fstab

添加到指定行后面

[root@client lzy2]# sed '1awestoslinux' fstab   ###添加，到第一行之后，第二行

westoslinux    ##前有一空行
#
# /etc/fstab
# Created by anaconda on Sat Aug 22 08:47:43 2020
[root@client lzy2]# sed '/UUID/awestoslinux' fstab   ###所有以uuid开头的行后加字符

UUID=12364ce4-e12c-4b77-ba1d-d03727c970b2 /                       xfs     defaults        0 0
westoslinux
UUID=3ab7dcd6-40c3-4e17-9d82-c59dbe73fb4d /boot                   xfs     defaults        0 0
westoslinux
UUID=ce885f30-ece3-4e6b-9717-a911672d57ae swap                    swap    defaults        0 0
westoslinux

2.2.4c 替换

sed -e '/^#/c hello world' fstab     ##替换所有以#开头的行为hello world   
sed '5chello world' westos    ##替换第5行为hello westos

替换，所有以#开头的为hellowestos

[root@client lzy2]# sed '/^#/chellowestos' fstab
hellowestos
hellowestos
hellowestos
hellowestos
hellowestos
hellowestos
UUID=12364ce4-e12c-4b77-ba1d-d03727c970b2 /                       xfs     defaults        0 0
UUID=3ab7dcd6-40c3-4e17-9d82-c59dbe73fb4d /boot                   xfs     defaul

替换指定行内容
在这里插入图片描述

2.2.5w ##把符合的行写到指定文件中

sed '/^#/w  fstabfile'	fastab##把fstab中#的行写入fstabfile中

在这里插入图片描述

2.2.6i ##插入

sed '3ihello westos' westos 把hello westos插入到第三行

[root@client lzy2]# sed '3ihello westos' fstab
UUID=12364ce4-e12c-4b77-ba1d-d03727c970b2 /                       xfs     defaults        0 0
UUID=3ab7dcd6-40c3-4e17-9d82-c59dbe73fb4d /boot                   xfs     defaults        0 0
hello westos
UUID=ce885f30-ece3-4e6b-9717-a911672d57ae swap                    swap    defaults        0 0
UUID=a6f2a133-0953-4f22-9797-43533ab7e29c   /iscsidisk     xfs    defaults,_netdev        0 0

2.2.7r ##整合文件

sed '1r fst' fstab     ##把fst文件整合到fstab文件的第1行下面

在这里插入图片描述

2.3sed 字符替换

1

sed 's/:/###/g' westos  ##修改全文的：为###
sed 's/:/###/' westos  ##修改第一列的：为###

在这里插入图片描述
2

sed 's/:/###/g' westos 
sed '1,5s/:/###/g' westos       ##修改1到5行所有列的：为###

[root@client lzy2]# sed '1,5s/sbin/westos/g' passwd  ###修改1到5行的sbin到westos
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/westos/nologin
daemon:x:2:2:daemon:/westos:/westos/nologin
adm:x:3:4:adm:/var/adm:/westos/nologin
lp:x:4:7:lp:/var/spool/lpd:/westos/nologin
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown

3

sed '1s/:/###/g' westos
sed '1s/:/###/g;5s/:/###/g' westos     ####;两个指令
sed '/lp/,/shutdown/s/:/###/g' westos      ##修改字符之间的

[root@client lzy2]# sed '/lp/,/halt/s/sbin/westos/g' passwd   ##把lp，到halt之间的sbin改为westos
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/westos/nologin
sync:x:5:0:sync:/westos:/bin/sync
shutdown:x:6:0:shutdown:/westos:/westos/shutdown
halt:x:7:0:halt:/westos:/westos/halt

4

sed 's/\//####/g' westos ##修改全文的\为###   “\" 也可以写为@
sed 's@/@####@g' westos

在这里插入图片描述

[root@client lzy2]# sed '1,5s@sbin@westos@g' passwd 
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/westos/nologin
daemon:x:2:2:daemon:/westos:/westos/nologin
adm:x:3:4:adm:/var/adm:/westos/nologin
lp:x:4:7:lp:/var/spool/lpd:/westos/nologin
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt

5

sed 's@/@####@g' -i  westos 		把sed处理的内容保存到westos文件中

[root@client lzy2]# sed '1,5s@sbin@westos@g' -i passwd
[root@client lzy2]# cat passwd
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/westos/nologin
daemon:x:2:2:daemon:/westos:/westos/nologin
adm:x:3:4:adm:/var/adm:/westos/nologin
lp:x:4:7:lp:/var/spool/lpd:/westos/nologin
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin

编写修改规则

[root@client lzy2]# cat rule     ###替换规则
s/sbin/westos/g    ##全文的sbin改为westos
s/nologin/linux/g   ##全文的nologin改为linux
[root@client lzy2]# sed -f rule passwd    ##执行规则
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/westos/linux
daemon:x:2:2:daemon:/westos:/westos/linux
adm:x:3:4:adm:/var/adm:/westos/linux
lp:x:4:7:lp:/var/spool/lpd:/westos/linux
sync:x:5:0:sync:/westos:/bin/sync
shutdown:x:6:0:shutdown:/westos:/westos/shutdown
halt:x:7:0:halt:/westos:/westos/halt
mail:x:8:12:mail:/var/spool/mail:/westos/linux
operator:x:11:0:operator:/root:/westos/linux
games:x:12:100:games:/usr/games:/westos/linux

3.awk

awk -F 分隔符 BEGIN{}{}END{} FILENAME

NR行数
NF列数
FILENAME文件名称本身
westoswestos变量值
“westos”westos字符串
{print hello}hello变量值
{print “hello”}hello字符串
/bash$/	    |条件
“/条件1|条件2/	#条件1或者条件2
/条件1/||/条件2/	  #条件1或者条件2
/条件1/&&/条件2/	  #条件1并且条件2
$0所有的列
$1第一列
$2第二列
$3第三列
~:是
！~:不是

显示行数

[root@1 mnt]# awk '{print NR}' passwd
1
2
3
4
5
6
7
8
9
10
11
12
13

显示列数

[root@1 mnt]# awk '{print NF}' passwd
1
1
1
1
1
1
1
1
1
1
1
2
3

以：为分隔符，显示列数

[root@1 mnt]# awk -F : '{print NF}' passwd
7
7
7
7
7
7
7
7
7
7
7
7
7

在这里插入图片描述

/etc/passwd文件的第六列没有home关键字并且以bash结尾的行

awk -F : '$6!~/home/&&/bash$/{print}' /etc/passwd
ninimino
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Shell中的文本处理工具
01-09
Linux系统中grep命令是一种强大的文本搜索工具，它能使用正则表达式搜索文本，并把匹配的 行 打印出来。grep全称是Global Regular Expression Print，表示全局正则表达式版本，它的使用权限是所有用户。 Tips ： ...
shell工具之awk
01-09
shell工具之awk ​ 一个强大的文本分析工具，把文件逐行的读入，以空格为默认的分割符并将每行切片，切开的部分在进行分析处理。 1.基本用法 awk [选项参数] ‘pattern1 {action} pattern2 {action}…’ filename ...
【网络安全】Penelope：一款功能强大的Shell处理工具
HBohan的博客
10-31 945
关于Penelope Penelope是一款功能强大的Shell处理工具，该工具的主要功能是在利用RCE漏洞的过程中，替代netcat并作为Shell捕捉器来使用。该工具可以在Linux和macOS上工作，只需要安装并配置好Python 3环境即可。该工具没有任何的第三方依赖，使用起来非常简单，跨平台性也很好。 功能介绍 自动将Shell更新为PTY； 记录与目标的交互历史信息； 从目标下载文件； 将文件上传至目标设备； 将预设脚本上传至目标设备； 生成备份Shell； 支持多会话； 支持多个监听器；
shell常用工具
潇潇雨歇
06-14 2395
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、sort工具1.1语法格式1.2常用选项1.3工具用法实例二、unig工具2.1命令格式2.2常用选项1.引入库2.读入数据总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例可供参考 一、sort工具 依据不同的数据类型进行排序 字符排序 数字排序 1.1语法
Shell 正则表达式及综合案例及文本处理工具
最新发布
qq_53317005的博客
09-16 2467
cat /etc/passwd | awk -F ":" '{print " 文件名：" FILENAME "\t行号：" NR "\t列数: " NR}' /etc/passwd。实现一个目录归档备份的脚本，输入一个目录名称，将目录下所有文件按天归档保存，并将归档日期附加在文档文件名上，放在根目录下(/archive)我们都知道手机号是由第一位数字是0，第二位是3，4，5，7，8，9；一个强大的文本分析工具，把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行分析处理。
Shell编程之文本处理
u012948302的专栏
11-22 2051
在日常工作学习中，不免经常要对文本文件（例如日志文件）进行处理工作，包括但不限于分割、查找、替换、删除等操作，`Shell` 中有没有相应的命令供我们使用呢？那么本篇文章，我们就一起来学习下吧！
shell学习☞shell工具
Rewon_duang的博客
11-22 1277
一、shell工具 1、cut[选项参数] filename：从文件的每一行剪切字解、字符和字段并将这些字节、字符和字段输 选项参数： -f：列号，提取第几列 -d：分隔符（默认是制表符），按照指定的分隔符分割列 ...
HBase Shell命令大全
热门推荐
人不风流枉少年
03-18 13万+
HBase关键名称： Row Key 列族 column family 单元 Cell 时间戳 timestamp HBase Shell 是官方提供的一组命令，用于操作HBase。如果配置了HBase的环境变量了，就可以知己在命令行中输入hbase shell 命令进入命令行。 hbase shell help命令 可以通过 help '命名名称'来查看命令行的具体使用 查询服务器状态st...
Linux---Shell（文本处理工具 和 Shell脚本）
weixin_64428129的博客
11-15 842
一、文本处理工具 1.1 grep grep是文本搜索命令，会从一个或多个文件中搜索与指定匹配模式的文本行，并打印匹配结果，一般格式为： grep 【选项】【模式】【文件名】 模式是匹配规则，模式后的文件名用于指定搜索目标，文件名可以有多个，之间用空格隔开，模式前选项用于对模式进行补充说明 常用选项 grep与正则表达式配合使用，来达到搜索功能 1.1.1 匹配行首 正则表达式的元字符 “ ^ "表示匹配行首，使用 gre
shell脚本处理工具
weixin_39735909的博客
01-30 459
文件处理工具
Shell文本Json处理
Robin.Wang Tech Blog
01-12 2921
命令工具jq jq可以对json数据进行分片、过滤、映射和转换，和sed、awk、grep等命令一样，都可以让你轻松地把玩文本。它能轻松地把你拥有的数据转换成你期望的格式，而且需要写的程序通常也比你期望的更加简短。 jq是用C编写，没有运行时依赖，所以几乎可以运行在任何系统上。预编译的二进制文件可以直接在Linux、OS X和windows系统上运行，当然在linux和OS X系统你需要赋与其可执行权限；在linux系统中也可以直接用yum安装。 # linux yum install jq # mac
java调用shell脚本 工具类
小白的技术之路
06-01 804
需要在linux下 执行
Shell文本处理工具–awk
12-21
awk 用法： awk　-F 分隔符 BEGIN{}{}END{}　FILENAME　默认以空格为分隔符 BEGIN和END可以忽略不写。 NR #显示行数 NF #列数 ...以冒号为分隔符，每一行的列数。...FILENAME　#遇到符合条件的行就打印一次文件名称本身...
企业dns服务器搭建（多种解析方式的设置：正向，反向，双向....）
ninimino的博客
08-09 1536
dns 服务器部署 1.关于 dns 的名词解释 dns: domain name service(域名解析服务) #关于客户端:# 域名系统（英文：Domain Name System，缩写：DNS）是互联网的一项服务。它作为将域名和IP地址相互映射的一个分布式数据库，能够使人更方便地访问互联网。DNS使用TCP和UDP端口53。当前，对于每一级域名长度的限制是63个字符，域名总长度则不能超过253个字符。 /etc/resolv.conf ##dns 指向文件 nameserver 172.25.25
linux中虚拟化部署（如何安装虚拟机？）
ninimino的博客
08-03 852
Linux中虚拟机的安装1.kvm相关信息1.1 kvm 虚拟机的简介1.2kvm安装条件1.3 kvm虚拟化相关信息2.安装虚拟机2.1.设置桥接模式2 .2挂载镜像，配置yum仓库2.3.安装 要安装虚拟机所需的虚拟化组件###kvm虚拟化安装2.4.安装虚拟机2.5.虚拟机管理命令2.6.虚拟机快照 1.kvm相关信息 1.1 kvm 虚拟机的简介 KVM虚拟机 Kernel-based Virtual Machine的简称，是一个开源的系统虚拟化模块，自Linux 2.6.20之后集成在Linux
shell脚本的基础知识（几种执行shell脚本的方式+vim添加脚本注释）
ninimino的博客
08-27 618
1.什么是shell 脚本中命令的解释器 2.shell脚本的意义 1.记录命令执行的过程和执行逻辑，以便以后重复执行 2.脚本可以批量处理主机 3.脚本可以定时处理主机 3.如何创建shell脚本 #!/bin/bash ##幻数 vim自动添加脚本首部 “map ms:call WESTOSTITLE()'s autocmd BufNewFile .sh,.script call WESTOSTITLE() func WESTOSTITLE() call append(0,”#############
shell脚本中的变量
ninimino的博客
09-23 341
shell脚本中的变量1.变量的定义2.shell脚本中变量的定义方法2.1环境级别2.2用户级别2.3系统级别2.4变量名称3.变量的转译3.1转译3.2声明3.3变量的数组4.Linux中命令的别名设定5.用户环境变量的更改6.利用命令的执行结果设定变量6.1直接利用命令执行结果6.2脚本中的传参6.2.1非交互模式：6.2.2交互模式传参:7.脚本函数 1.变量的定义 1）定义本身 变量就是内存一片区域的地址 2)变量存在的意义 命令无法操作一直变化的目标 用一串固定的字符来表示不固定的目标可以解决
dhcp服务器的搭建
ninimino的博客
07-30 287
DHCP（动态主机配置协议）是一个局域网的网络协议。指的是由服务器控制一段IP地址范围，客户机登录服务器时就可以自动获得服务器分配的IP地址和子网掩码。默认情况下，DHCP作为Windows Server的一个服务组件不会被系统自动安装，还需要管理员手动安装并进行必要的配置。 [root@localhost ~]# 服务端 配置静态网络 ；把景象接入光驱；df查看光驱挂载位置 cd /run/media/root/RHEL-8-0-0-BaseOS-x86_64/BaseOS/Packages ls
Linux 中kickstart自动安装脚本
ninimino的博客
08-03 272
mount /etc/cdrom mount iso 应该挂载什么？ 网桥模式 bash kickstart 把设置安装成一个脚本，每次安装，自动回答安装过程中所有问题的答案 man virt-install hostnamectl clearpart 对硬盘所有信息初始化标签 dnf clean all 清理 /var/cache/dnf/ 配置yum仓库 答案文件 先修改答案文件 anaconda-ks.cfg [root@localhost html]# cat anaconda
shell脚本工具箱
08-14
非常抱歉，作为一个 AI 模型，我无法提供具体的 shell 脚本工具箱。然而，我可以为您提供一些常用的 shell 脚本工具，您可以根据自己的需求进行使用。 1. Bash：Bash 是一个常用的 Unix shell 和命令语言，您可以...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值