shell编程-6

已于 2024-01-22 11:53:29 修改
阅读量904 收藏 23
点赞数 24
分类专栏： shell 文章标签： linux 运维 awk 数组
于 2024-01-22 11:52:54 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/investor_/article/details/135744669
版权

akw深入学习

shell学习第6天

继续学习awk

systime()是awk内部得到当前时间的函数

strftime()是awk日期格式化输出的函数，按照指定的格式输出日期

编写一个脚本，发现新增了或者删除了用户，需要知道，还有修改了密码也要知道，密码为空的用户也要知道、如果有上面的行为就记录到日志里/var/log/user_pwd.log

#!/bin/bash

#定义日志文件
log_file="/var/log/user_pwd.log"

#备份 /etc/passwd 和 /etc/shadow
mkdir -p /backup_user
cd /backup_user
#手动去备份
#cp /etc/passwd passwd-$(date +%F)
#cp /etc/shadow shadow-$(date +%F)

#计算备份文件的md5sum
passwd_md5=$(md5sum /backup_user/passwd-$(date +%F) | awk '{print $1}')
shadow_md5=$(md5sum /backup_user/shadow-$(date +%F) | awk '{print $1}')

#计算最近的 /etc/passwd /etc/shadow 的md5值
c_passwd_md5=$(md5sum /etc/passwd | awk '{print $1}')
c_shadow_md5=$(md5sum /etc/shadow | awk '{print $1}')

#判断 passwd 文件的 md5 值是否有变化
if [[ $passwd_md5 != $c_passwd_md5 ]]; then
    echo "用户信息被修改"
    #使用 diff 去比较发现是增加或者减少了哪些用户
    if diff -q /etc/passwd /backup_user/passwd-$(date +%F) > /dev/null; then
        echo "用户信息没有详细变化"
    else
        diff /etc/passwd /backup_user/passwd-$(date +%F) | egrep "^<"|awk -F: '{print "用户新增了:"$1}' | tr -d "< " >>$log_file
        i_name=$(diff /etc/passwd /backup_user/passwd-$(date +%F) | egrep "^<"|awk -F: '{print "用户新增了:"$1}' | tr -d "< ")
        if [ $? -eq 0 ]; then
            echo "用户新增了:$i_name"
        fi

        diff /etc/passwd /backup_user/passwd-$(date +%F) | egrep "^>"|awk -F: '{print "用户删除了:"$1}' | tr -d "> " >>$log_file
        d_name=$(diff /etc/passwd /backup_user/passwd-$(date +%F) | egrep "^>"|awk -F: '{print "用户删除了:"$1}' | tr -d "> ")
        if [ $? -eq 0 ]; then
            echo "用户删除了:$d_name"
        fi
    fi
else
    echo "用户信息没有被修改"
fi

#判断 shadow 文件的 md5 值是否有变化
if [[ $shadow_md5 != $c_shadow_md5 ]]; then
    echo "用户密码文件被修改"
    #使用 diff 去比较发现是 shadow 文件里的哪些行发生变化了
    if diff -q /etc/shadow /backup_user/shadow-$(date +%F) > /dev/null; then
        echo "用户密码文件没有详细变化"
    else
        diff /etc/shadow /backup_user/shadow-$(date +%F) | egrep "^<"|awk -F: '{print "用户新增了:"$1}' | tr -d "< " >>$log_file
        i_name=$(diff /etc/shadow /backup_user/shadow-$(date +%F) | egrep "^<"|awk -F: '{print "用户新增了:"$1}' | tr -d "< ")
        if [ $? -eq 0 ]; then
            echo "用户新增了:$i_name"
        fi

        diff /etc/shadow /backup_user/shadow-$(date +%F) | egrep "^>"|awk -F: '{print "用户删除了:"$1}' | tr -d "> " >>$log_file
        d_name=$(diff /etc/shadow /backup_user/shadow-$(date +%F) | egrep "^>"|awk -F: '{print "用户删除了:"$1}' | tr -d "> ")
        if [ $? -eq 0 ]; then
            echo "用户删除了:$d_name"
        fi
    fi
else
.

    echo "用户密码文件没有修改"
fi

#判断没有设置密码或者密码为空的用户,记录到日志文件里
awk -F: 'length($2) == 1 || length($2) == 2 {print $1,"没有设置密码",strftime("%D",systime())}' /etc/shadow >>$log_file
awk -F: 'length($2) == 0 {print $1,"密码为空",strftime("%D",systime())}' /etc/shadow >>$log_file

if多分支

image-20240121163433422

awk -F: 'length($2) == 1 || length($2) == 2 {print $1,"没有设置密码",strftime("%D",systime())}' /etc/shadow >>$log_file
awk -F: 'length($2) == 0 {print $1,"密码为空",strftime("%D",systime())}' /etc/shadow >>$log_file

'这两条可以整合起来:'
awk -F: '{if (length($2) == 1 || length($2) == 2) print $1,"没有设置密码",strftime("%D",systime())else if (length($2) ==0 ) print $1,"密码为空",strftime("%D",systime())}' /etc/shadow >>$log_file

小题目

在centos7的配置文件/etc/vimrc中有if v:lang s~ "utf8$'
这里的v:lang和=~分别是什么意思?
"utf8$"中的"$"的作用?

在 /etc/vimrc 配置文件中的语句：

if v:lang =~ "utf8$"

这里的 v:lang 是 Vim 中的一个特殊变量，表示当前的语言。而 =~ 是 Vim 中的正则表达式匹配运算符。

解释一下：

  • v:lang: 表示当前的语言。
  • =~: 是 Vim 中的正则表达式匹配运算符，用于判断左侧的字符串是否匹配右侧的正则表达式。
  • "utf8$": 是一个正则表达式，其中 "utf8" 表示匹配包含 “utf8” 的字符串，而 $ 表示匹配字符串结尾。因此，整个正则表达式 "utf8$" 表示匹配以 “utf8” 结尾的字符串。

因此，整个条件语句的意思是：如果当前语言是以 “utf8” 结尾的，那么就执行条件块中的内容。这可能用于在不同的语言环境下设置相关的 Vim 配置。

利用awk的system命令

image-20240121171710455

[root@gh-shell 1-21] awk -F: '{system("mkdir -p /gao/hui/sc/"$1)}' /etc/passwd
0 directories, 0 files
[root@gh-shell 1-21] tree /gao
/gao
└── hui
    └── sc
        ├── adm
        ├── bin
        ├── chrony
        ├── daemon
        ├── dbus
        ├── ftp
        ├── games
        ├── gaodingjiang
        ├── gaodingjiang1
        ├── gaodingjiang12
        ├── gaodingjiang123
        ├── gaofei12
        ├── gaofei123
        ├── gh123
        ├── halt
        ├── liu
        ├── liu1
        ├── liu2
        ├── liu3
        ├── lp
        ├── mail
        ├── nobody
        ├── operator
        ├── polkitd
        ├── postfix
        ├── root
        ├── root1
        ├── root2
        ├── sc1
        ├── sc10
        ├── sc11
        ├── sc12
        ├── sc13
        ├── sc14
        ├── sc15
        ├── sc16
        ├── sc17
        ├── sc18
        ├── sc19
        ├── sc20
        ├── sc5
        ├── sc6
        ├── sc7
        ├── sc8
        ├── sc9
        ├── shutdown
        ├── sshd
        ├── sync
        ├── systemd-network
        └── tss
52 directories, 0 files
[root@gh-shell 1-21]#

求和

image-20240121172658725

'简单的求和'
[root@gh-shell 1-21] cat grade.txt |awk 'NR>1{sum += $4}END{print sum}'
355
[root@gh-shell 1-21] cat grade.txt 
name	chinese	math	english
cali	80	91	82
tom		90	80	99
lucy	99	70	75
jack	60	89	99
[root@gh-shell 1-21]#

awk数组

array 数组 ：一组数据

image-20240121174910126

[root@gh-shell 1-21] cat a.txt 
山东 aa 20
河南 bb 30
江西 cc 30
湖南 aa 40
山东 bb 10
江西 dd 60
河南 cc 30
湖南 cc 30

[root@gh-shell 1-21] cat a.txt|awk '{a[$1] += $3}END{for (i in a) print i,a[i]}'|sort -k 2 -n
山东 30
河南 60
湖南 70
江西 90
[root@gh-shell 1-21]#

这个数组很像python中的字典

key和value

[root@gh-shell 1-21] ./scdict.py
name gaohui
age 18
hobby read_book
skills Linux python
[root@gh-shell 1-21]# cat scdict.py 
#!/usr/bin/python3

#定义一个字典
stu_info = {"name":"gaohui","age":18,"hobby":"read_book","skills":"Linux python"}

#打印所有的key和value
for key, value in stu_info.items():
    print(key, value)
[root@gh-shell 1-21]#

小练习

image-20240121181730676

[root@gh-shell 1-21] cat top_up.txt|awk 'NR>1{top_name[$1]+=$2}END{for (i in top_name) print i,top_name[i]}'|sort -k 2 -nr
fei 1329
gao 650
jiang 450
[root@gh-shell 1-21]# 
[root@gh-shell 1-21] cat top_up.txt 
username	money
gao			100
gao			200
gao			350
fei			200
fei			239
fei			890
jiang		100
jiang		350
[root@gh-shell 1-21]#

练习2

已知一台服务器 nestat –an 输出，用IP简单的正则匹配上面出现的所有的IP

[root@gh-shell 1-21] netstat -antplu|egrep -o "([0-9]{1,3}\.){3}[0-9]{1,3}"|sort|uniq
0.0.0.0
127.0.0.1
192.168.153.1
192.168.153.165
[root@gh-shell 1-21] netstat -antplu|egrep "([0-9]{1,3}\.){3}[0-9]{1,3}"
tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN      1109/sshd           
tcp        0      0 127.0.0.1:25            0.0.0.0:*               LISTEN      1333/master         
tcp        0      0 192.168.153.165:22      192.168.153.1:49935     ESTABLISHED 2133/sshd: root@pts 
tcp        0     36 192.168.153.165:22      192.168.153.1:49930     ESTABLISHED 2109/sshd: root@pts 
udp        0      0 127.0.0.1:323           0.0.0.0:*                           745/chronyd         
[root@gh-shell 1-21]#

split切割函数

image-20240122102506772

image-20240122104256854

[root@gh-shell 1-21] netstat -antplu|awk 'NR>2 && /tcp/{s[$6] += 1}END{for (i in s) print i,s[i]}'
LISTEN 4
ESTABLISHED 2
[root@gh-shell 1-21]#

substr函数—>切片

从一段字符串里截取

[root@gh-shell 1-21] echo "fengdeyong|sanchaung|changsha"|awk -F"|" '{print substr($1,1,6)}'
fengde
[root@gh-shell 1-21]# 
[root@gh-shell 1-21] echo "fengdeyong|sanchaung|changsha"|awk -F"|" '{print substr($1,5,10)}'
deyong
[root@gh-shell 1-21]#

substr($1,1,6)

1表示从第一个字符开始

6表示取6个字符

难题

以下是nginx日志的字段含义
$time_iso8601|$host|$http_cf_connecting_ip|$request|$status|$body_bytes_sent|$http_referer|$http_user_agent
-------------------------------------
2019-04-25T09:51:58+08:00|a.google.com|47.52.197.27|GET /v2/depth?symbol=aaa HTTP/1.1|200|24|-|apple
2019-04-25T09:52:58+08:00|b.google.com|47.75.159.123|GET /v2/depth?symbol=bbb HTTP/1.1|200|407|-|python-requests/2.20.0
2019-04-25T09:53:58+08:00|c.google.com|13.125.219.4|GET /v2/ticker?timestamp=1556157118&symbol=ccc HTTP/1.1|200|162|-|chrome
2019-04-25T09:54:58+08:00|d.shuzibi.co|-||HEAD /justfor.txt HTTP/1.0|200|0|-|-
2019-04-25T09:55:58+08:00|e.google.com|13.251.98.2|GET /v2/order_detail?apiKey=ddd HTTP/1.1|200|231|-|python-requests/2.18.4
2019-04-25T09:56:58+08:00|f.google.com|210.3.168.106|GET /v2/trade_detail?apiKey=eee HTTP/1.1|200|24|-|-
2019-04-25T09:57:58+08:00|g.google.com|47.75.115.217|GET /v2/depth?symbol=fff HTTP/1.1|200|397|-|python-requests/2.18.4
2019-04-25T09:58:58+08:00|h.google.com|47.75.58.56|GET /v2/depth?symbol=ggg HTTP/1.1|200|404|-|safari
2019-04-25T09:59:58+08:00|i.google.com|188.40.137.175|GET /v2/trade_detail?symbol=hhh HTTP/1.1|200|6644|-|-
2019-04-25T10:01:58+08:00|j.google.com|2600:3c01:0:0:f03c:91ff:fe60:49b8|GET /v2/myposition?apiKey=jjj HTTP/1.1|200|110|-|scan

1、 计算每分钟的带宽（body_bytes_sent）

[root@gh-shell 1-21] cat nginx.txt|awk -F"|" 'NR>1 {split($1,time,":|");print time[1]":"time[2],$(NF-2)}'
2019-04-25T09:51 24
2019-04-25T09:52 407
2019-04-25T09:53 162
2019-04-25T09:54 0
2019-04-25T09:55 231
2019-04-25T09:56 24
2019-04-25T09:57 397
2019-04-25T09:58 404
2019-04-25T09:59 6644
2019-04-25T10:01 110
[root@gh-shell 1-21]#

2、 统计每个URI（即不带问号?后面的内容）的每分钟的频率

[root@gh-shell 1-21] cat nginx.txt|awk -F"[|?]" 'NR>1{t[substr($1,1,16)$4]+=1}END{for (i in t) print i,t[i]}'|sort -k3 -nr
2019-04-25T10:01GET /v2/myposition 1
2019-04-25T09:59GET /v2/trade_detail 1
2019-04-25T09:58GET /v2/depth 1
2019-04-25T09:57GET /v2/depth 1
2019-04-25T09:56GET /v2/trade_detail 1
2019-04-25T09:55GET /v2/order_detail 1
2019-04-25T09:53GET /v2/ticker 1
2019-04-25T09:52GET /v2/depth 1
2019-04-25T09:51GET /v2/depth 1
2019-04-25T09:54 1

[root@gh-shell 1-21] cat nginx.txt |awk -F"[|?]"  'NR>1{t[substr($1,1,16)$4]+=1}END{for (i in t) print i,t[i]}'|sort -k3 -nr
2019-04-25T10:01GET /v2/myposition 1
2019-04-25T09:59GET /v2/trade_detail 1
2019-04-25T09:58GET /v2/depth 1
2019-04-25T09:57GET /v2/depth 1
2019-04-25T09:56GET /v2/trade_detail 1
2019-04-25T09:55GET /v2/order_detail 1
2019-04-25T09:53GET /v2/ticker 1
2019-04-25T09:52GET /v2/depth 1
2019-04-25T09:51GET /v2/depth 1
2019-04-25T09:54 1
[root@gh-shell 1-21]#
不冤不乐
关注
专栏目录
shell编程---test表达式（或称为[]表达式）
Andy的博客
03-04 3035
shell 脚本 test表达式
Linux零基础学习笔记 Shell编程-菜鸟入门（超详细）
11-24
Linux是开源的操作系统，它的命令行界面，尤其是Shell编程...因此，无论你是技术小白还是希望进一步提升，这份“Linux零基础学习笔记 Shell编程-菜鸟入门”都会是你宝贵的资源。祝你在学习的道路上越走越远，不断进步！
悟懂Linux第23章shell编程-使用其他shell②zsh shell
华为奋斗者精神
10-23 1590
它汲取了所有现有shell的设计理念并增加了许多独到的功能，为程序员创建了一个无所不能的高级shell。它使用可加载的模块来加载单独的代码库，这使得高级函数的使用与在命令行上运行命令一样简单。zsh shell的思想是提供一个基本的、最小化的shell环境，让你在编程时再添加需要的模块。zsh中的每个结构化命令采用的语法都跟你熟悉的bash shell中的一样。这个功能提供了一个极佳的方式：在需要较小shell体积和较少命令时限制zsh shell的体积，在需要更快执行速度时增加可用的内建命令数量。
shell编程-command命令
wwwlyj123321的博客
01-11 3605
一、 command命令在shell脚本里面，如果发现有个函数和我们需要执行的命令同名，我们可以用command用来强制执行命令，而不是同名函数，即无视shell脚本中的“同名”函数，执行特定的命令 二、实例： function ls() { echo "haha" } echo "--1--" ls echo "--2--" command ls echo "--3--" echo command ls echo "--4--" $(echo command ls) 输出结果：
Shell编程-用户信息管理
qq_25015861的博客
06-18 4864
shell编写脚本文件，完成对信息的增删改查功能
shell编程---变量
gaoqiandr的博客
09-18 2429
对于shell的基本语法的总结归纳，简单易懂哦
shell编程--输入输出
Ghost_199503的博客
12-03 5882
shell 编程
shell编程-awk命令详解（超详细）
zcs2312852665的博客
12-03 2837
本文介绍了awk命令的基本概念、语法和常用选项。awk是一种文本处理工具，可以用于从文本文件中提取和处理数据。它通过逐行读取文件并根据指定的规则执行操作来实现功能。
Shell编程--初识shell
King config
12-16 9716
文章目录shell编程一、初识shellshell 定义shell的分类和切换使用场景shell 特性回顾bash 初始化二、shell 脚本规范三、变量的类型练习1练习2四、脚本运行创建bash脚本（shell脚本）bash脚本执行子shellbash 脚本测试五、变量置换命令替换变量替换变量替换-匹配截取basename & dirname六、shell编程-流程控制shell编程-条件结构shell分支if语句作业1shell 分支case语句七、shell编程-循环结构shell循环-fo.
Shell 编程 - 学习/实践
"代码"的日常搬运
11-02 4186
1.介绍 Linux中非常有用的功能, 这个功能叫做shell编程, 不要听到编程就被吓到, 并没有那么难, shell脚本编程的基本元素就是我们使用的Linux命令, 把这些Linux命令组合在一起,就可以构成shell脚本. 2.应用背景 主要应用于Linux服务器上处理一些任务，如：批量操作，重复性任务，定时任务，自动化【对于大多数的应用场景都是用来实现运维的自动化】 ...
shell编程-wc命令详解（超详细）
zcs2312852665的博客
12-17 2227
通过本文，我们了解了wc命令的基本用法和常用选项。使用wc命令可以方便地统计文件的行数、字数和字符数，帮助我们进行文本处理和数据分析。在实际使用中，可以根据需求选择合适的选项来获取所需的统计信息。以上是关于wc命令的简要介绍，希望对您有所帮助。更多详细信息，请参考wc命令的官方文档或使用wc --help命令查看帮助信息。
shell编程--用户信息管理（模拟）.doc
02-24
"shell编程--用户信息管理（模拟）" 本课设计的主要目的是让学生掌握 Linux 操作系统中 shell 脚本编程技术的各种知识点，包括变量定义、变量使用、循环控制结构、条件选择结构、用户交互、文件读写、文本内容分析...
Linux运维-3.Shell编程-12 shell编程-151break语句和contin
11-01
Linux运维-3.Shell编程-12 shell编程-151break语句和continue语句.avi
Linux运维-3.Shell编程-12 shell编程-150exit语句.avi
11-01
Linux运维-3.Shell编程-12 shell编程-150exit语句.avi
Linux运维-3.Shell编程-12 shell编程-149until循环.avi
11-01
Linux运维-3.Shell编程-12 shell编程-149until循环.avi
【Linux】uImage头部信息详细解析
W__winter的博客
09-16 1510
【代码】【Linux】uImage头部信息详细解析。
【Linux】：信号与信号产生
Yikefore的博客
09-12 1016
信号的基本概念、对信号的理解、信号的多种产生方式以及核心转储的详细介绍！
Linux Vim编辑器常用命令
最新发布
Calvin的博客
09-19 175
命令模式快捷键 编辑/输入模式快捷键 编辑模式切换到命令模式
linux-进程管理-进程查看与控制
Flying_Fish_roe的博客
09-18 477
进程是操作系统中执行中的程序。Linux 将每个运行的程序看作是一个进程，每个进程都有唯一的进程ID (PID)。在 Linux 系统中，进程管理是非常重要的，它能够帮助系统管理员和用户查看、管理、优化系统资源的使用情况。Linux 提供了丰富的命令来查看和控制进程，例如pstophtopkill等等。这些命令允许用户监控和控制系统中运行的进程，以确保系统资源的合理使用，并避免进程阻塞或占用过多资源。在 Linux 系统中，进程管理是非常关键的操作。通过使用pstophtop。
"Shell编程-用户信息管理实践
通过完成这个用户信息管理系统的设计，学生将会深入了解Linux操作系统中shell编程的使用，并提升对系统管理的能力。同时，这个设计也是对理论知识的实践和应用，能够帮助学生更好地掌握课程内容。 总之，本次课程...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

不冤不乐

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值