字符串处理、三剑客

最新推荐文章于 2024-11-02 14:00:54 发布
最新推荐文章于 2024-11-02 14:00:54 发布
阅读量884 收藏 12
点赞数 16
文章标签： linux 运维 服务器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/it_zhenxiaobai/article/details/134736898
版权

相关命令

< 符号

输入重定向，可以在后面需要跟文件名，这样让程序不再从键盘读取数据，而是从文件中读取数据

<< 符号

代表你需要的内容在这里，某指令导入字符串时使用，而无需文件

使用read指令配合输入重定向可同时定义多个变量

read  a b  <  abc.txt

结合while循环批量读取数据并通过read命令给变量赋值

根据文档内容，创建账户并同时配置密码

首先准备测试文档user.txt

研发部

zhangsan haha123

人事部

lisi xixi456

wangwu lele789

销售部

zhaoliu kaka765

#!/bin/bash
while read name pass
do
    [ -z $pass ] && continue
    useradd $name
    echo $pass | passwd --stdin $name
done < user.txt                            #利用user.txt文档内容赋值，读取所有行

通过文档批量创建账户并配置密码

系统中的 /dev/urandom 可以获得取之不尽的随机字符，但内容太随意有些是不需要的，如果文档中没有密码，可以使用 tr 处理这些随机字符获取密码

tr -cd '_a-zA-Z0-9' < /dev/urandom | head -c 10     
#对来自标准输入的字符进行替换、压缩、删除
#-c是取反 -d是删除，对_a-zA-Z0-9取反删除，剩下就只是_a-zA-Z0-9这个范围内的字符串，head -c 10 可以得到10位字符

编写脚本

strings

在对象文件或二进制文件中查找可打印的字符串（字符串是四个或更多可打印字符的任意序列，以换行符或空字符结束。strings命令对识别随机对象文件很有用。）

变量字符串截取

一、方法

使用 ${} 表达式

格式：

---${变量名:截取位置:截取长度}        #截取位置编号从0开始，可省略

二、示例

[root@pc2 ~]# a=abcdef
[root@pc2 ~]# echo ${a:2:2}
cd
[root@pc2 ~]# a=abcdefhijk

[root@pc2 ~]# echo ${a:6:3}
hij

变量字符串替换

一、只替换第一个匹配结果

${变量名/旧/新}

二、替换全部匹配结果

${变量名//旧/新}

变量字符串删除

一、掐头

${变量名#删除的内容}

从左向右，最短匹配删除

---${变量名#*关键词}

从左向右，最长匹配删除

---${变量名##*关键词}

[root@pc2 ~]# a=abcdddefgh
[root@pc2 ~]# echo ${a#ab}    #掐头
cdddefgh
[root@pc2 ~]# echo ${a#*d}    #最短匹配，删除到最近匹配
ddefgh
[root@pc2 ~]# echo ${a##*d}    #最长匹配，删除到最远匹配
efgh

二、去尾

${变量名%删除的内容}

从右向左，最短匹配删除

---${变量名%关键词*}

从右向左，最长匹配删除

---${变量名%%关键词*}

[root@pc2 ~]# a=abcfdefgh
[root@pc2 ~]# echo ${a%fgh}    #去尾
abcfde
[root@pc2 ~]# echo ${a%f*}    #最短匹配，删除到最近匹配
abcfde
[root@pc2 ~]# echo ${a%%f*}    #最长匹配，删除到最远匹配
abc

正则表达式

0-199

[root@pc2 ~]# echo 199 | egrep "^1?[0-9]?[0-9]$"

echo ${abc:-123} 定义初值

sed 流式编辑器

逐行处理

对文档内容非交互式增删改查

选项：

-n        屏蔽默认输出

-i         修改源文件

-r         支持扩展正则

指令：

p        输出

d        删除

s        替换

条件：

---行号

---/字符串/ 或 /正则/

一、前置指令 | sed 选项 条件 '指令'

二、sed 选项 条件 '指令' 文档

1、查 删

[root@pc2 ~]# sed -n 'p' user                  #输出所有行
[root@pc2 ~]# sed -n '1p' user                 #输出第一行
[root@pc2 ~]# sed -n '1,2p' user               #输出1到2行
[root@pc2 ~]# sed -n '2p;4p' user              #输出第2行和第4行
[root@pc2 ~]# sed -n '2,+1p' user              #输出第2行到2+1行
[root@pc2 ~]# sed -n '2~2p' user               #输出第2行及每2步之后的行
[root@pc2 ~]# sed -n '/root/p' user            #使用正则，输出包含root的行
[root@pc2 ~]# sed -n '/^root/p' user           #使用正则，输出root开头的行
[root@pc2 ~]# sed -nr '/^root|^bin/p' user     #使用扩展正则，输出root开头或bin开头的行
[root@pc2 ~]# sed -n '1!p' user                #取反，输出第一行之外的行
[root@pc2 ~]# sed -n '$p' user                 #输出最后一行
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
[root@pc2 ~]# sed -n '=' user                  #输出行号
1
2
3
4
5
[root@pc2 ~]# sed -n '/root/=' user            #输出root所在行的行号
1

以上操作，如果去掉-n，再将 p 指令改成 d 指令就是删除

2、改

[root@pc2 ~]# sed 's/2017/6666/' shu.txt     #将所有行的第1个2017替换成6666
[root@pc2 ~]# sed 's/2017/6666/g' shu.txt    #将所有行的所有2017替换成6666
[root@pc2 ~]# sed '1s/2017/6666/' shu.txt    #将第1行的第1个2017替换成6666
[root@pc2 ~]# sed 's/2017/6666/2' shu.txt    #将所有行的第2个2017替换成6666
[root@pc2 ~]# sed '3s/2017/6666/3' shu.txt   #将第3行的第3个2017替换成6666
[root@pc2 ~]# sed '/8/s/2017/6666/' shu.txt  #使用正则，将含有8的行的第1个2017替换成6666

如果想把/bin/bash替换成/sbin/sh怎么操作？
sed -i '1s/bin/sbin/' user    #传统方法可以一个一个换
sed -i '1s/bash/sh/' user 
#如果想一步替换：
sed 's//bin/bash//sbin/sh/' user    #直接替换，报错
sed 's/\/bin\/bash/\/sbin\/sh/' user    #使用转义符号可以成功，但不方便
sed 's!/bin/bash!/sbin/sh!' user    #最佳方案，更改s的替换符（替换符可以用键盘上大部分字符）

\< 定位词首

\> 定位词尾

\b 不能出现数字、字母、下划线

\w 匹配数字、字母、下划线

\s 匹配空格 tab键

\d 匹配数字，相当于[0-9]，与 -P 选项搭配才正确

a 行下追加

i 行上追加

c 替换整行

egrep "^(1?[0-9]?[0-9]\.|2[0-4][0-9]\.|25[0-5]\.){3}(1?[0-9]?[0-9]|2[0-4][0-9]|25[0-5])$"

[root@pc2 ~]# sed 'a 666' user 
[root@pc2 ~]# sed '1a 666' user 
[root@pc2 ~]# sed '/^bin/a 666' user 
[root@pc2 ~]# sed 'i 666' user 
[root@pc2 ~]# sed '5i 666' user 
[root@pc2 ~]# sed '$i 666' user 
[root@pc2 ~]# sed 'c 666' user 
[root@pc2 ~]# sed '1c 666' user 
[root@pc2 ~]# echo xy | sed -r 's/(.)(.)/\2\1/'
yx
[root@pc2 ~]# cat abc.txt 
100 laowang
98 gangge
59 laoliu
[root@pc2 ~]# sed -r 's/([0-9]+)(\s+)([a-Z]+)/\3\2\1/' abc.txt 
laowang 100
gangge 98
laoliu 59

awk

精确搜索

默认以 空格 作为分隔符

格式：

前置指令 | awk 选项  ‘条件{指令}’

awk 选项  ‘条件{指令}’ 文件

选项 

-F        #定义分隔符

指令

---print        #打印 输出

条件

---/字符串/ 或 /正则/

---~包含   !~不包含

---==、!=、>、>=、<、<=

---&& 并且    || 或者

---%（例：NR%2==0）取余

内置变量

---$1        #第一列

---$2        #第二列

---$3        #第三列

---$0        #所有列

---NR        #行号（有几行）

---NF        #列号（有几列）

awk '{print}' abc.txt            #输出所有
awk '/to/{print}' abc.txt        #输出有to的行
awk '{print $2}' abc.txt         #输出所有行的第2列
awk '/to/{print $1}' abc.txt     #输出有to的那行的第1列
awk '{print $0}' abc.txt         #输出所有行所有列
awk '{print $0,$1}' abc.txt      #输出所有行所有列，第1列
awk '{print NR}' abc.txt         #输出所有行的行号
awk '{print NF}' user            #输出所有行的列号（每行有几列）
awk '{print NR,$0}' abc.txt      #输出所有行的行号，所有列
awk '{print NR,NF}' abc.txt      #输出所有行的行号，列号（有几列）
awk '/^bin/{print NR}' user      #找以bin开头的行，显示该行的行号
awk '/^bin/{print NR,$0}' user   #找以bin开头的行，显示该行的行号，所有列

一、指定分隔符

[root@pc2 ~]# cat user 
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
[root@pc2 ~]# awk -F: '{print $2}' user             #指定分隔符
[root@pc2 ~]# awk -F[:/] '/root/{print $9}' user    #以 :或者/ 作为分隔符
bin

二、与常量输出

常量加上 " " 双引号

[root@pc2 ~]# awk -F: '/root/{print "ok"}' user 
ok
[root@pc2 ~]# awk -F: '/root/{print $1"的解释器是"$7}' user 
root的解释器是/bin/bash
[root@pc2 ~]# ifconfig eth0 | awk '/RX pack/{print "eth0网卡的接收数据量是"$5"字节"}'
eth0网卡的接收数据量是735581字节
[root@pc2 ~]# ifconfig eth0 | awk '/TX pack/{print "eth0网卡的发送数据量是"$5"字节"}'
eth0网卡的发送数据量是348284字节
[root@pc2 ~]# df -h | awk '/\/$/{print "根分区的剩余空间："$4}'
根分区的剩余空间：11G

三、条件应用

[root@pc2 ~]# awk -F: '$6~/root/{print}' user     #输出第6列包含root的行
[root@pc2 ~]# awk -F: '$6~/bin/{print}' user      #输出第6列包含bin的行
[root@pc2 ~]# awk -F: '$6!~/bin/{print}' user     #输出第6列不包含bin的行
[root@pc2 ~]# awk -F: '$3<3{print}' user          #输出第3列小于3的行
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
[root@pc2 ~]# awk -F: '$3<=3{print}' user         #输出第3列小于等于3的行
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
[root@pc2 ~]# awk -F: 'NR==2{print}' user         #输出第2行
[root@pc2 ~]# awk -F: 'NR>2{print}' user          #输出行号大于2的行
[root@pc2 ~]# awk 'NR>=3&&NR<=5' user             #输出行号是3~5的行
[root@pc2 ~]# awk 'NR==2||NR==4' user             #输出行号是2或行号是4的行
[root@pc2 ~]# awk -F: '$7~/bash/&&NR<=3' user     #输出1~3行中第7列包含bash的行
[root@pc2 ~]# awk -F: '$7~/bash/||NR<=3' user     #输出1~3行或者第7列包含bash的行
[root@pc2 ~]# awk -F: '$7~/bash/&&$3<=500' user   #输出第7列包含bash的行并且第3列小于等于500的行

awk处理时机

BEGIN{ } 行前任务，读取文档前执行，指令执行一次

{ }逐行处理，读取文档过程中执行，指令执行 n 次

END{ } 行后任务，读取文档结束后执行，指令执行一次

[root@pc2 ~]# awk -F: 'BEGIN{print "User\tUID\tHome"}{print $1"\t"$3"\t"$6}END{print "总计"NR"行"}' user 
User    UID     Home
root    0       /root
bin     1       /bin
daemon  2       /sbin
adm     3       /var/adm
lp      4       /var/spool/lpd
总计5行

\t=tab键（常量）

使用awk数组+for循环实现高级搜索

数组是可以存储多个值的特殊变量

数组名[下标]=值        输出数组名+下标可以得到值

[root@pc2 ~]# awk 'BEGIN{a[1]=10;a[2]=20;print a[1],a[2]}'
10 20
[root@pc2 ~]# awk 'BEGIN{a["abc"]="abcabc";a["xyz"]="xyz";print a["abc"],a["xyz"]}'
awk 'BEGIN{a["abc"]="abcabc";a["xyz"]="xyz";print a["abc"]}'
awk 'BEGIN{a["abc"]="abcabc";a["xyz"]="xyz";print a["abc"],a["xyz"]}'
awk '{a[$1]++}END{print a[abc]}' shu.txt 
awk '{a[$1]++}END{print a["abc"]}' shu.txt 
awk 'BEGIN{a[1]=10;a[2]=20;print a}'
awk 'BEGIN{a[1]=10;a[2]=20;print a[1]}'
awk 'BEGIN{a[1]=10;a[2]=20;print a[2]}'
awk 'BEGIN{a[1]=10;a[2]=20;print a[*]}'
awk 'BEGIN{a[1]=10;a[2]=20;print a[1],[2]}'
awk 'BEGIN{a[1]=10;a[2]=20;print a[1],a[2]}'
awk '{a[$1]++}END{print a["abc"]}' shu.txt 
cat /var/log/httpd/access_log | awk '{a[$1]++}END{for(i in a){print i,a[i]}}'
cat /var/log/httpd/access_log | awk '{a[$1]++}END{for(i in a){print i,a[i]}}' | sort -nr -k2
awk '/Failed password for/{ip[$11]++}END{for(i in ip){print i,ip[i]}}' /var/log/secure


#!/bin/bash
while :
do
    clear
    df -h | awk '/\/$/{print "根分区剩余容量是："$4}'
    ifconfig eth0 | awk '/TX p/{print "网卡发送数据："$5"字节"}'
    free -h | awk '/Mem/{print "内存剩余容量："$4}'
    uptime | awk '{print "15分钟cpu的平均负载是："$NF}'
    awk 'END{print "服务器账户总数是："NR}' /etc/passwd
    who | awk 'END{print "正在使用服务器人数："NR}'
    rpm -qa | awk 'END{print "安装的软件包总数："NR}'
    sleep 3
done
#!/bin/bash
while :
do
    clear
    a=$(df -h | awk '/\/$/{print "根分区剩余容量是："$4}')
    echo -e "\033[32m$a\033[0m"
    a=$(ifconfig eth0 | awk '/TX p/{print "网卡发送数据："$5"字节"}')
    echo -e "\033[32m$a\033[0m"
    a=$(free -h | awk '/Mem/{print "内存剩余容量："$4}')
    echo -e "\033[32m$a\033[0m"
    a=$(uptime | awk '{print "15分钟cpu的平均负载是："$NF}')
    echo -e "\033[32m$a\033[0m"
    a=$(awk 'END{print "服务器账户总数是："NR}' /etc/passwd)
    echo -e "\033[32m$a\033[0m"
    a=$(who | awk 'END{print "正在使用服务器人数："NR}')
    echo -e "\033[32m$a\033[0m"
    a=$(rpm -qa | awk 'END{print "安装的软件包总数："NR}')
    echo -e "\033[32m$a\033[0m"
    sleep 3
done

                                

#!/bin/bash
colo() {
    echo -e "\033[$1m$2\033[0m"
}
while :
do
    clear
    colo 32 `df -h | awk '/\/$/{print "根分区剩余容量是："$4}'`
    colo 32 `ifconfig eth0 | awk '/TX p/{print "网卡发送数据："$5"字节"}'`
    #df -h | awk '/\/$/{print "\033[32m根分区剩余容量是："$4"\033[0m"}'
    #ifconfig eth0 | awk '/TX p/{print "\033[32m网卡发送数据："$5"字节\033[0m"}'
    #free -h | awk '/Mem/{print "\033[32m内存剩余容量："$4"\033[0m"}'
    #uptime | awk '{print "\033[32m15分钟cpu的平均负载是："$NF"\033[0m"}'
    #awk 'END{print  "\033[32m服务器账户总数是："NR"\033[0m"}' /etc/passwd
    #who | awk 'END{print  "\033[32m正在使用服务器人数："NR"\033[0m"}'
    #rpm -qa | awk 'END{print "\033[32m安装的软件包总数："NR"\033[0m"}'
    sleep 3
done

    #!/bin/bash
    #脚本执行完后，用ssh远程登录测试
    #可以先手工备份/etc/fstab和/etc/profile
    #1)判断当前账户身份，并关闭防火墙与selinux
    [ $UID -ne 0 ] && echo "请使用管理员操作" && exit
    systemctl stop firewalld                 
    systemctl disable firewalld
    setenforce 0
    sed -i 's/SELINUX=enforcing/SELINUX=disabled/' /etc/selinux/config
    #2）根据不同版本的系统执行各自的任务
    egrep -q "\s+8\.[0-9]" /etc/redhat-release                    #判断系统版本
    if [ $? -ne 0 ];then
        sed -ri 's/HISTSIZE=[0-9]+/HISTSIZE=0/' /etc/profile        #关闭历史命令
    else
        sed -ri 's/HISTSIZE=[0-9]+/HISTSIZE=2000/' /etc/profile        #历史命令2000条
        sed -i '/^export /i HISTTIMEFORMAT="%F %T "' /etc/profile    #历史命令时间戳
        sed -i '/^export /s/$/ HISTTIMEFORMAT/' /etc/profile        #找到export开头那行，在最后加 HISTTIMEFORMAT，可以在子进程中也显示时间戳
        swap=$(swapon | awk 'NR!=1{print $1}')                #找到交换分区
        for i in $swap
        do
            swapoff $i                                        #循环关闭交换分区
        done
        sed -i '/swap/s/^/#/' /etc/fstab                    #关闭交换分区自动挂载
    fi
    #3)最后所有机器设置ssh超时时间与时间同步
    echo "export TMOUT=300"  >> ~/.bash_profile                #定义ssh超时退出时间
    yum -y install chrony
    systemctl enable chronyd
    sed  -ri  '/^(pool|server).*iburst/s/^/#/'   /etc/chrony.conf
    sed  -i  '1i server 192.168.88.240 iburst'   /etc/chrony.conf
    systemctl restart chronyd
#!/bin/bash
while read name pass
do
    [ -z $pass ] && continue
    useradd $name
    echo $pass | passwd --stdin $name
done < user.txt



研发部
zhangsan        
人事部
lisi
wangwu  
销售部
zhaoliu

#!/bin/bash
x=$(awk '/^[a-zA-Z0-9]/&&!/已创建/{print NR}' user.txt)
if [ -z "$x" ];then
    echo "没有账户需要创建"
    column -t user.txt
    exit
fi
for i in $x
do
    pass=$(strings /dev/urandom | tr -cd '_a-zA-Z0-9' | head -c 10)
    sed -i "${i}s/$/\t$pass/" user.txt
    read name pass <<  EOF
    $(sed -n "${i}p" user.txt)
EOF
    useradd $name
    echo $pass | passwd --stdin $name
    sed -i "${i}s/$/\t已创建/" user.txt
done
column -t user.txt

x=1                    #高亮行号，默认为1即可
y=0                    #第几行
menu (){                #循环显示菜单的函数
clear
    for i in 1,安装ftp服务 2,开关ftp服务 3,退出
    do
        echo "----------------"
        let y++
        [ $x -eq $y ] && echo -e "\033[43;93m$i\033[0m" && continue
        echo "$i"
    done
    y=0
    echo "----------------"
}



ftp_install() {
        if rpm -q vsftpd &> /dev/null;then
                msg="ftp已经安装"
        else
                yum -y install vsftpd &> /dev/null
                [ $? -eq 0 ] && msg="安装成功！" || msg="安装失败！"
        fi
}



ser_manager() {
        if ! rpm -q vsftpd &> /dev/null;then
                msg="未安装vsftpd软件包"
                return
        fi
        case $1 in
        start)
                systemctl start vsftpd
                msg="ftp服务已经开启"
                ser_manager=start;;
        stop)
                systemctl stop vsftpd
                msg="ftp服务已经关闭"
                ser_manager=stop;;
        esac
}



. menu
. ftp_install
. ser_manager
while :
do
    menu
    echo "$msg"
    read -n 3 c
    if [ "$c" == $'\033[A' ];then
        [ $x -eq 1 ] && continue
        let x--
    elif [ "$c" == $'\033[B' ];then    #如果按了 "下" 键
        [ $x -eq 3 ] && continue        #如果在第3行，没变化
        let x++                        #如果不在第3行，就把x+1        
    elif [ $x -eq 1 ] && [ -z "$c" ];then
        msg="ftp正在安装中。。。"
        echo "$msg"
        ftp_install
    elif [ $x -eq 2 ] && [ -z "$c" ];then
        [ "$ser_manager" != start ] && ser_manager start || ser_manager stop
    elif [ $x -eq 3 ] && [ -z "$c" ];then
        exit
    fi
done

--exclude=abc.tmp 排除

脚本

编写一个脚本可以匹配不同系统的服务器（包含7版本与8版本的系统）实现以下需求：

1、所有服务器永久关闭防火墙服务和SELinux

2、关闭7版本系统的命令历史记录，修改8版本的命令历史记录最多保存2000条并加上时间戳

3、关闭8版本系统的交换分区

4、定义root远程登录系统后的ssh保持时间为300秒

5、设置时间同步，ntp服务器地址是......

    #!/bin/bash
    #脚本执行完后，用ssh远程登录测试
    #可以先手工备份/etc/fstab和/etc/profile
    #1)判断当前账户身份，并关闭防火墙与selinux
    [ $UID -ne 0 ] && echo "请使用管理员操作" && exit
    systemctl stop firewalld                 
    systemctl disable firewalld
    setenforce 0
    sed -i 's/SELINUX=enforcing/SELINUX=disabled/' /etc/selinux/config
    #2）根据不同版本的系统执行各自的任务
    egrep -q "\s+8\.[0-9]" /etc/redhat-release                    #判断系统版本
    if [ $? -ne 0 ];then
        sed -ri 's/HISTSIZE=[0-9]+/HISTSIZE=0/' /etc/profile        #关闭历史命令
    else
        sed -ri 's/HISTSIZE=[0-9]+/HISTSIZE=2000/' /etc/profile        #历史命令2000条
        sed -i '/^export /i HISTTIMEFORMAT="%F %T "' /etc/profile    #历史命令时间戳
        sed -i '/^export /s/$/ HISTTIMEFORMAT/' /etc/profile        #找到export开头那行，在最后加 HISTTIMEFORMAT，可以在子进程中也显示时间戳
        swap=$(swapon | awk 'NR!=1{print $1}')                #找到交换分区
        for i in $swap
        do
            swapoff $i                                        #循环关闭交换分区
        done
        sed -i '/swap/s/^/#/' /etc/fstab                    #关闭交换分区自动挂载
    fi
    #3)最后所有机器设置ssh超时时间与时间同步
    echo "export TMOUT=300"  >> ~/.bash_profile                #定义ssh超时退出时间
    yum -y install chrony
    systemctl enable chronyd
    sed  -ri  '/^(pool|server).*iburst/s/^/#/'   /etc/chrony.conf
    sed  -i  '1i server 192.168.88.240 iburst'   /etc/chrony.conf
    systemctl restart chronyd
it_zhenxiaobai
关注
【shell脚本】字符串处理
weixin_42224114的博客
04-15 2304
shell 脚本是一种非常实用的技能，而其中最为实用的不是各种 shell 命令，而是关于字符串处理的部分。
awk 截取部分字符串_干货-Shell编程文本处理三剑客之-awk
weixin_39605840的博客
01-24 2792
awk在 Linux/UNIX 系统中，awk 是一个功能强大的编辑工具，逐行读取输入文本，并根据指定的匹配模式进行查找，对符合条件的内容进行格式化输出或者过滤处理，可以在无交互的情况下实现相当复杂的文本操作，被广泛应用于 Shell 脚本，完成各种自动化配置任务。 AWK是一种处理文本文件的语言，是一个强大的文本分析工具。之所以叫 AWK 是因为其取了三位创始人 Alfred Aho，Pet...
Linux 三剑客
Lance_mu的博客
01-29 1751
它经常被用于脚本和自动化任务中，以执行基本的文本替换、删除、插入和其他编辑操作。2、apple替换成orange，末尾是指定替换操作的行为，没有 g 标志，只替换每一行中的第一个匹配到的 “apple”，而不会进行全局替换。awk是一个强大的文本分析工具，它使用一种类似于编程的语言来处理文本文件和字符串。一种强大的文本搜索工具，用于在文件内容中查找指定的字符串，并将匹配到的行输出到标准输出。替换操作：使用sub或gsub命令可以在匹配模式的行中进行替换操作。打印行：使用print命令可以打印匹配模式的行。
awk 内嵌正则 提取字符串_干货-Shell编程文本处理三剑客之-awk
weixin_39743357的博客
12-16 1091
awk在 Linux/UNIX 系统中，awk 是一个功能强大的编辑工具，逐行读取输入文本，并根据指定的匹配模式进行查找，对符合条件的内容进行格式化输出或者过滤处理，可以在无交互的情况下实现相当复杂的文本操作，被广泛应用于 Shell 脚本，完成各种自动化配置任务。 AWK是一种处理文本文件的语言，是一个强大的文本分析工具。之所以叫 AWK 是因为其取了三位创始人 Alfred Aho，Pet...
awk 内嵌正则 提取字符串_Linux 三剑客之 awk 详解
weixin_39522486的博客
12-04 915
(给Linux爱好者加星标，提升Linux技能)以下文章来源于宜信技术学院 ，作者秦伟第一篇 awk简介与表达式实例一种名字怪异的语言模式扫描和处理，处理数据和生成报告。awk不仅仅是linux系统中的一个命令，而且是一种编程语言；它可以用来处理数据和生成报告(excel)；处理的数据可以是一个或多个文件；可以是直接来自标准输入，也可以通过管道获取标准输入；awk可以在命令行上直接编辑命...
linux awk搜索文本最后个字符串,Shell文本处理三剑客之awk
weixin_39738115的博客
05-09 1057
awk 是一个文本处理工具，通常用于处理数据并生成结果报告。其命名源于三位创始人姓氏首字母：Alfred Aho、Peter Weinberger、Brian Kernighan。语法：awk [options] 'BEGIN{} pattern {commands} END{}' filestdout | awk [options] 'BEGIN{} pattern {commands} END...
Linux Bash编程：字符串处理
测试开发小记
08-31 373
在Linux Bash编程中，介绍了Bash编程基本语法，本文记录一下Bash编程中使用到的相关shell 语法技巧。 目录字符串处理在字符串中传递变量tr命令1. 大小写转换2. 替换3. 压缩重复字符串4. 删除指定字符判断字符串是否包含某个子串数组操作冒泡排序字体颜色文本处理文件操作清空文件内容 字符串处理 在字符串中传递变量 $ num=8 # 方法1：双引号 $ text="There are $num ducks swimming in a pond" $ echo $text There ar
LINUX文本处理三剑客
qq_35936776的博客
01-26 229
LInux想必大家都不陌生,命令行秒杀微软的DOS,自从用上了linux鼠标似乎离我也原来越远了.今天我们不多说linux,说说linux的文本处理工具. 一.Grep: 全称: Global search Regular expression and Print out the line. 作用:文本搜索工具，根据用户指定的“模式”对目标文本逐行进行匹配检查；打印匹配到的行； 模式: 有正则表...
awk处理带有空格的字符串_Linux三剑客传 | 老大：AWK
weixin_39822493的博客
11-12 1144
来源:编程三分钟ID:coding3min作者：小熊爱编程概述awk同sed命令类似，只不过sed擅长取行，awk命令擅长取列。（根据了解awk是一种语言，不过我们只关注他处理文本的功能，用的好的话几乎可以取代excel）原理：一般是遍历一个文件中的每一行，然后分别对文件的每一行进行处理用法:awk [可选的命令行选项] 'BEGIN{命令 } pattern{ 命令 } END{ 命令 }' ...
shell三剑客过滤文件内字符串长度输出
01-09
当我们需要过滤文件中的内容，例如根据字符串长度进行筛选时，这三者都能发挥重要作用。下面我们将详细介绍如何使用awk、grep和sed来过滤文件内字符串长度并输出。 **awk** 是一个功能强大的文本分析工具，它能够...
Python 数据分析三剑客之 NumPy（四）：NumPy 史上最全的字符串函数总结与对比
12-21
这些函数使得在 NumPy 数组中进行大规模字符串处理变得高效且便捷。它们在处理大量文本数据时尤其有用，比如在数据清洗、预处理或信息提取的过程中。理解并熟练运用这些函数，能极大地提升你在数据分析项目中的工作...
linux文本处理三剑客.txt
06-15
-o:仅显示匹配到的字符串 -q:静默模式,不输出任何信息 -A#:after,后#行 -B#:before,前#行 -C#:context,前后各#行 -e:实现多个选项间的逻辑or关系 grep -e 'cat' -e 'dog' file -w:匹配整个单词 -E:使用ERE -F:相当...
Linux特种文件系统--tmpfs文件系统
刘元林的博客
10-29 1002
tmpfs类似于RamDisk（只能使用物理内存），使用虚拟内存（简称VM）子系统的页面存储文件。tmpfs完全依赖VM，遵循子系统的整体调度策略。说白了tmpfs跟普通进程差不多，使用的都是某种形式的虚拟内存，至于数据存储在物理内存中还是在交换分区中，全权交由VM子系统。定义： 是一个基于内存的文件系统，它在 RAM 中存储数据，因此访问速度非常快。用途： 通常用于存储临时文件，这些文件不需要永久保存，而且频繁读写。使用 可以减少对物理磁盘的磨损，并提高性能。示例路径：常见的 挂载点包括 、、 等。持
Camp4-L0：Linux 前置基础
fangsfdavid的博客
10-29 869
书生浦语大模型实战营第四期：Linux前置基础
【Linux】MySQLMGR主从复制
Stringzhua的博客
10-30 808
MySQL是⽬前最流⾏的开源关系型数据库，国内⾦融⾏业也开始全⾯使⽤，其中MySQL5.7.17提出的 MGR(MySQL Group Replication)既可以很好的保证数据⼀致性⼜可以⾃动切换，具备故障检测功能、 ⽀持多节点写⼊，MGR是⼀项被普遍看好的技术。MGR(MySQL Group Replication)是MVSQL⾃带的⼀个插件，可以灵活部署。
第三章.Linux文件管理和IO重定向
Raymond的博客
10-30 56
Linux的文件系统分层结构：FHS Filesystem Hierarchy Standard参考文档：http://www.pathname.com/fhs/ 1.3 应用程序的组成部分 1.4 CentOS 7 以后版本目录结构变化 /bin 和 /usr/bin /sbin 和 /usr/sbin /lib 和/usr/lib /lib64 和 /usr/lib64 范例： 1.5 Linux下的文件类型 - 普通文件 d 目录文件directory b 块设备block c 字符设备cha
Linux初阶——线程（Part3）：POSIX 信号量 & CP 模型变体
最新发布
m0_73093743的博客
11-02 333
只能建立一个对象的设计模式。
‌Linux tac命令‌
weixin_37788102的博客
10-30 310
tac命令实际上是cat命令的一个变体，尽管它的功能相对简单，但在某些情况下非常有用。例如，当需要查看文件的最后一行（通常是标题或总结）时，使用tac命令可以避免滚动查看整个文件。此外，tac命令对于处理大型文件或需要快速定位文件末尾内容的情况非常有用‌。‌Linux tac命令‌是一个用于逆序显示文件内容的工具，其名称来源于“cat”的反向拼写。tac命令的基本功能是将文件的内容从最后一行开始输出，直到第一行结束，这与cat命令的功能相反，cat命令是从第一行开始输出直到最后一行。tac命令的基本用法。
Linux 之 信号概念、进程、进程间通信、线程、线程同步
挥剑决浮云的博客
11-01 541
如果释放互斥锁时有一个以上的线程阻塞，那么这些阻塞的线程会被唤醒，它们都会尝试对互斥锁进行加锁，当有一个线程成功对互斥锁上锁之后，其它线程就不能再次上锁了，只能再次陷入阻塞，等待下一次解锁。事实上，子进程是父进程的一个副本，譬如子进程拷贝了父进程的数据段、堆、栈以及继承了父进程打开的文件描述符，父进程与子进程并不共享这些存储空间，这是子进程对父进程相应部分存储空间的完全复制，执行fork()之后，每个进程均可修改各自的栈数据以及堆段中的变量，而并不影响另一个进程。是一族函数，而不是一个单独的函数。
FPGA实现的高速数据采集系统：字符串处理与Shell脚本实战
9. **文本处理三剑客**：grep用于查找、sed用于文本替换和处理、awk则是强大的文本分析工具，它们都是在字符串处理中不可或缺的组件。 本文档提供了一个全面的框架，展示了如何在实际的硬件系统设计中运用Shell编程...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值