Shell正则三剑客 | awk命令(资料)

最新推荐文章于 2024-07-22 16:39:56 发布
最新推荐文章于 2024-07-22 16:39:56 发布
阅读量103 收藏
点赞数
文章标签： awk shell c/c++
原文链接：https://my.oschina.net/u/3803405/blog/2254210
版权

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

简介

        awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。

      awk有3个不同版本: awk、nawk和gawk，未作特别说明，一般指gawk，gawk 是 AWK 的 GNU 版本。

使用方法

awk '{pattern + action}' {filenames}

       尽管操作可能会很复杂，但语法总是这样，其中 pattern 表示 AWK 在数据中查找的内容，而 action 是在找到匹配内容时所执行的一系列命令。花括号（{}）不需要在程序中始终出现，但它们用于根据特定的模式对一系列指令进行分组。 pattern就是要表示的正则表达式，用斜杠括起来。

 

         awk语言的最基本功能是在文件或者字符串中基于指定规则浏览和抽取信息，awk抽取信息后，才能进行其他文本操作。完整的awk脚本通常用来格式化文本文件中的信息。

         通常，awk是以文件的一行为处理单位的。awk每接收文件的一行，然后执行相应的命令，来处理文本。

 

调用awk

 

有三种方式调用awk

1.命令行方式

awk [-F  field-separator]  'commands'  input-file(s)

其中，commands 是真正awk命令，[-F域分隔符]是可选的。 input-file(s) 是待处理的文件。

在awk中，文件的每一行中，由域分隔符分开的每一项称为一个域。通常，在不指名-F域分隔符的情况下，默认的域分隔符是空格。

 

2.shell脚本方式

将所有的awk命令插入一个文件，并使awk程序可执行，然后awk命令解释器作为脚本的首行，一遍通过键入脚本名称来调用。

相当于shell脚本首行的：#!/bin/sh

可以换成：#!/bin/awk

 

3.将所有的awk命令插入一个单独文件，然后调用：

awk -f awk-script-file input-file(s)

其中，-f选项加载awk-script-file中的awk脚本，input-file(s)跟上面的是一样的。

awk工作流程

$0则表示所有域

$1表示第一个域;

$n表示第n个域;

默认域分隔符是”空白键” 或 “键”,

所以$1表示登录用户，$3表示登录用户ip

awk内置变量

b722a95157ebd26612e12655d5f0f5acef5.jpg

 

AWK命令

awk 具有 grep 和 sed命令的特性，同时 AWK针对列进行匹配

语法格式

Usage: awk [options] -f progfile [--] file ...
Usage: awk [options] [--] 'program' file ...

常用选项

  • -F fs fs指定输入分隔符，fs可以是字符串或正则表达式；如-F ":"

  • -vvar=value 赋值一个用户定义变量，将外部变量传递给awk

  • -f progfile 从脚本文件中读取awk命令

  • -m[fr]val 对val值设置内在限制；

  • -mf选项限制分配给val的最大块数目；

  • -mr选项限制记录最大数目；

  • 此选项为awk的扩展功能，在标准awk中不适用；

 

入门实例

假设last -n 5的输出如下

# last -n 5 仅取出前五行

root     pts/1   192.168.1.100  Tue Feb 10 11:21   still logged in

root     pts/1   192.168.1.100  Tue Feb 10 00:46 - 02:28  (01:41)

root     pts/1   192.168.1.100  Mon Feb  9 11:41 - 18:30  (06:48)

dmtsai   pts/1   192.168.1.100  Mon Feb  9 11:41 - 11:41  (00:00)

root     tty1                   Fri Sep  5 14:09 - 14:10  (00:01)

如果只是显示最近登录的5个帐号

#last -n 5 | awk  '{print $1}'

root

root

root

dmtsai

root

awk工作流程是这样的：读入有’n’换行符分割的一条记录，然后将记录按指定的域分隔符划分域，填充域，$0则表示所有域,$1表示第一个域,$n表示第n个域。默认域分隔符是”空白键” 或 “键”,所以$1表示登录用户，$3表示登录用户ip,以此类推。

 

如果只是显示/etc/passwd的账户

#cat /etc/passwd |awk  -F ':'  '{print $1}'  

root

daemon

bin

sys

这种是awk+action的示例，每行都会执行action{print $1}。

-F指定域分隔符为’:’。

如果只是显示/etc/passwd的账户和账户对应的shell,而账户与shell之间以tab键分割

#cat /etc/passwd |awk  -F ':'  '{print $1"t"$7}'

root    /bin/bash

daemon  /bin/sh

bin     /bin/sh

sys     /bin/sh

如果只是显示/etc/passwd的账户和账户对应的shell,而账户与shell之间以逗号分割,而且在所有行添加列名name,shell,在最后一行添加”blue,/bin/nosh”。

cat /etc/passwd |awk  -F ':'  'BEGIN {print "name,shell"}  {print $1","$7} END {print "blue,/bin/nosh"}'

name,shell

root,/bin/bash

daemon,/bin/sh

bin,/bin/sh

sys,/bin/sh

....

blue,/bin/nosh

awk工作流程是这样的：先执行BEGING，然后读取文件，读入有/n换行符分割的一条记录，然后将记录按指定的域分隔符划分域，填充域，$0则表示所有域,$1表示第一个域,$n表示第n个域,随后开始执行模式所对应的动作action。接着开始读入第二条记录······直到所有的记录都读完，最后执行END操作。

 

搜索/etc/passwd有root关键字的所有行

#awk -F: '/root/' /etc/passwd

root:x:0:0:root:/root:/bin/bash

这种是pattern的使用示例，匹配了pattern(这里是root)的行才会执行action(没有指定action，默认输出每行的内容)。

 

搜索支持正则，例如找root开头的: awk -F: ‘/^root/’ /etc/passwd

 

搜索/etc/passwd有root关键字的所有行，并显示对应的shell

# awk -F: '/root/{print $7}' /etc/passwd            

/bin/bash

这里指定了action{print $7}

 

awk内置变量

 

awk有许多内置变量用来设置环境信息，这些变量可以被改变，下面给出了最常用的一些变量。

ARGC               命令行参数个数

ARGV               命令行参数排列

ENVIRON            支持队列中系统环境变量的使用

FILENAME           awk浏览的文件名

FNR                浏览文件的记录数

FS                 设置输入域分隔符，等价于命令行 -F选项

NF                 浏览记录的域的个数

NR                 已读的记录数

OFS                输出域分隔符

ORS                输出记录分隔符

RS                 控制记录分隔符

 

此外,$0变量是指整条记录。$1表示当前行的第一个域,$2表示当前行的第二个域,……以此类推

 

统计/etc/passwd:文件名，每行的行号，每行的列数，对应的完整行内容:

#awk  -F ':'  '{print "filename:" FILENAME ",linenumber:" NR ",columns:" NF ",linecontent:"$0}' /etc/passwd

filename:/etc/passwd,linenumber:1,columns:7,linecontent:root:x:0:0:root:/root:/bin/bash

filename:/etc/passwd,linenumber:2,columns:7,linecontent:daemon:x:1:1:daemon:/usr/sbin:/bin/sh

filename:/etc/passwd,linenumber:3,columns:7,linecontent:bin:x:2:2:bin:/bin:/bin/sh

filename:/etc/passwd,linenumber:4,columns:7,linecontent:sys:x:3:3:sys:/dev:/bin/sh

 

使用printf替代print,可以让代码更加简洁，易读

awk  -F ':'  '{printf("filename:%10s,linenumber:%s,columns:%s,linecontent:%sn",FILENAME,NR,NF,$0)}'/etc/passwd

 

print和printf

 

       awk中同时提供了print和printf两种打印输出的函数。

      其中print函数的参数可以是变量、数值或者字符串。字符串必须用双引号引用，参数用逗号分隔。如果没有逗号，参数就串联在一起而无法区分。这里，逗号的作用与输出文件的分隔符的作用是一样的，只是后者是空格而已。

      printf函数，其用法和c语言中printf基本相似,可以格式化字符串,输出复杂时，printf更加好用，代码更易懂。

 

awk编程

 

变量和赋值

除了awk的内置变量，awk还可以自定义变量。

 

下面统计/etc/passwd的账户人数

awk '{count++;print $0;} END{print "user count is ", count}' /etc/passwd

root:x:0:0:root:/root:/bin/bash

......

user count is 40

count是自定义变量。之前的action{}里都是只有一个print,其实print只是一个语句，而action{}可以有多个语句，以;号隔开。

 

这里没有初始化count，虽然默认是0，但是妥当的做法还是初始化为0:

awk 'BEGIN {count=0;print "[start]user count is ", count} {count=count+1;print $0;} END{print "[end]user count is ", count}' /etc/passwd

[start]user count is  0

root:x:0:0:root:/root:/bin/bash

...

[end]user count is  40

 

统计某个文件夹下的文件占用的字节数

ls -l |awk 'BEGIN {size=0;} {size=size+$5;} END{print "[end]size is ", size}'

[end]size is 8657198

 

如果以M为单位显示:

ls -l |awk 'BEGIN {size=0;} {size=size+$5;} END{print "[end]size is ", size/1024/1024,"M"}'

[end]size is 8.25889 M

 

注意，统计不包括文件夹的子目录。

 

条件语句

awk中的条件语句是从C语言中借鉴来的，见如下声明方式：

if (expression) {

    statement;

    statement;

    ... ...

}

 

if (expression) {

    statement;

} else {

    statement2;

}

 

if (expression) {

    statement1;

} else if (expression1) {

    statement2;

} else {

    statement3;

}

 

统计某个文件夹下的文件占用的字节数,过滤4096大小的文件(一般都是文件夹):

ls -l |awk 'BEGIN {size=0;print "[start]size is ", size} {if($5!=4096){size=size+$5;}} END{print "[end]size is ", size/1024/1024,"M"}'

[end]size is 8.22339 M

循环语句

awk中的循环语句同样借鉴于C语言，支持while、do/while、for、break、continue，这些关键字的语义和C语言中的语义完全相同。

数组

因为awk中数组的下标可以是数字和字母，数组的下标通常被称为关键字(key)。值和关键字都存储在内部的一张针对key/value应用hash的表格里。由于hash不是顺序存储，因此在显示数组内容时会发现，它们并不是按照你预料的顺序显示出来的。数组和变量一样，都是在使用时自动创建的，awk也同样会自动判断其存储的是数字还是字符串。一般而言，awk中的数组用来从记录中收集信息，可以用于计算总和、统计单词以及跟踪模板被匹配的次数等等。

 

显示/etc/passwd的账户

awk -F ':' 'BEGIN {count=0;} {name[count] = $1;count++;}; END{for (i = 0; i ' /etc/passwd

0 root

1 daemon

2 bin

3 sys

4 sync

5 games

......

这里使用for循环遍历数组

 

awk使用案例

## $1 $2...$n 表示字段；$0 表示所有字段
head -n2 test.txt | awk -F ":" '{print $0}'
head -n2 test.txt | awk -F ":" '{print $1}'
## 输入字段分隔符
head -n2 test.txt | awk -F ":" '{print $1"#"$2"#"$3}'
head -n2 test.txt | awk -F ":" '{OFS="#"}{print $1,$2,$3}'
## 字符串过滤【具有grep过滤功能】
awk -F ":" '/root/' test.txt ## 匹配字符串为root的行
awk -F ":" '$1 ~/root/' test.txt ## 匹配第一字段包含root的行

## awk的数学运算
awk -F ":" '$3>$4' /etc/passwd
awk -F ":" '$3>800 ||  $7=="/bin/bash"' /etc/passwd
awk -F ":" '$7!="/sbin/nologin"' /etc/passwd

## if判断用例
awk -F ":" '{if($1=="root"){print $0} }' text
awk -F ":" '{if($3>=20){print $3}}' text
## awk的循环
awk -F ":" '{(tot=tot+$3)}; END {print tot}' text

awk小练习

打印行号【awk/grep实现】

## awk写法
[root@shell awk]# awk -F ":" '/root/{print NR":"$0}' /etc/passwd
1:root:x:0:0:root:/root:/bin/bash
10:operator:x:11:0:operator:/root:/sbin/nologin
## grep写法
[root@shell awk]# grep -n 'root' /etc/passwd
1:root:x:0:0:root:/root:/bin/bash
10:operator:x:11:0:operator:/root:/sbin/nologin

匹配包含 root 的行【awk/grep实现】

  • ## awk写法

  • [root@shell awk]# awk -F ":" '/root/' /etc/passwd

  • root:x:0:0:root:/root:/bin/bash

  • operator:x:11:0:operator:/root:/sbin/nologin

  • ## grep写法

  • [root@shell awk]# grep 'root' /etc/passwd

  • root:x:0:0:root:/root:/bin/bash

  • operator:x:11:0:operator:/root:/sbin/nologin

匹配第一字段为 root的行

  1. [root@shell awk]# awk -F ":" '$1 ~/root/' /etc/passwd

  2. root:x:0:0:root:/root:/bin/bash

  3. rootaaaaa:x:0:0:root:/root:/bin/bash

  4. irootaaaaa:x:0:0:root:/root:/bin/bash

匹配包含root 或 bash 的行【awk/grep实现】

  1. ## awk写法（一）

  2. [root@shell awk]# awk -F ":" '/root|bash/ {print $0}' /etc/passwd

  3. root:x:0:0:root:/root:/bin/bash

  4. operator:x:11:0:operator:/root:/sbin/nologin

  5. ## awk写法（二）

  6. [root@shell awk]# awk -F ":" '/root/ || /bash/ {print $0}' /etc/passwd

  7. root:x:0:0:root:/root:/bin/bash

  8. operator:x:11:0:operator:/root:/sbin/nologin

  9.  

  10. ## grep写法

  11. [root@shell awk]# grep -E "root|bash" /etc/passwd

  12. root:x:0:0:root:/root:/bin/bash

  13. operator:x:11:0:operator:/root:/sbin/nologin

匹配数学运算

## 匹配 $3等于字符串0
[root@shell awk]# awk -F ":" '$3=="0"' /etc/passwd
root:x:0:0:root:/root:/bin/bash
## 匹配 $3 大于等于字符串 10
[root@ansible-master awk]# head -n 5 text |awk -F ":" '$3>="10"'
rootaaaaa:x:10:0:root:/root:/bin/bash
daemon:x:2:2:daemon:/sbin:/sbin/nologin
## 匹配 $3 大于等于数字 10
[root@ansible-master awk]# head -n 5 text |awk -F ":" '$3>=10'
rootaaaaa:x:10:0:root:/root:/bin/bash
## 匹配$7字段 不等于字符串·/bin/nologin·
[root@ansible-master awk]# head -n 5 text |awk -F ":" '$7!="/bin/nologin"'​​​​​
root:x:0:0:root:/root:/bin/bash
rootaaaaa:x:10:0:root:/root:/bin/bash
irootaaaaa:x:01:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin

 

匹配字段添加分隔符

## 方法1
[root@shell awk]# awk -F ":" '{OFS="#"} /root|bash/ {print $1,$2,$5}' /etc/passwd
root#x#root
operator#x#operator
## 方法2
[root@shell awk]# awk -F ":" '/root|bash/ {print $1"#"$2"#"$5}' /etc/passwd
root#x#root
operator#x#operator

 

匹配条件字段

[root@shell awk]# awk -F ":" '{OFS="#"}{if($3>800){print $1,$3,$7}}' /etc/passwd
polkitd#999#/sbin/nologin
chrony#998#/sbin/nologin
jenkins#997#/bin/false
saslauth#996#/sbin/nologin

NR和$NR区别

  • NR 表示，只打印行号

  • $NR 表示，根据当前行号打印相应字段（比如：第1行，打印 $1字段；第2行，打印$2字段）

## NR 表示，只打印行号
[root@ansible-master awk]# head -6 text | awk -F ":" '{print NR, $0}'
1 root:x:0:0:root:/root:/bin/bash
2 bin:x:1:1:bin:/bin:/sbin/nologin
3 daemon:x:2:2:daemon:/sbin:/sbin/nologin
4 adm:x:3:4:adm:/var/adm:/sbin/nologin
5 lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
6 sync:x:5:0:sync:/sbin:/bin/sync
## 匹配NR 大于 20 的行
[root@ansible-master awk]# awk -F ":" 'NR>20 {print NR,$0}' text
21 chrony:x:998:996::/var/lib/chrony:/sbin/nologin
22 jenkins:x:997:993:Jenkins Automation Server:/var/lib/jenkins:/bin/false
23 saslauth:x:996:76:Saslauthd user:/run/saslauthd:/sbin/nologin
24 mailnull:x:47:47::/var/spool/mqueue:/sbin/nologin
25 smmsp:x:51:51::/var/spool/mqueue:/sbin/nologin## 

$NR 表示，根据当前行号打印相应的字段
[root@ansible-master awk]# head -6 text | awk -F ":" '{print $NR, $0}'
root root:x:0:0:root:/root:/bin/bashx bin:x:1:1:bin:/bin:/sbin/nologin
2 daemon:x:2:2:daemon:/sbin:/sbin/nologin
4 adm:x:3:4:adm:/var/adm:/sbin/nologin
lp lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
/sbin sync:x:5:0:sync:/sbin:/bin/sync

 

awk的条件判断使用

## 判断，如果$1字段 等于 字符串root 则打印
[root@ansible-master awk]# awk -F ":" '{if($1=="root"){print $0} }' text
root:x:0:0:root:/root:/bin/bash
## 判断，如果$3字段 大于 数字20 则打印
[root@ansible-master awk]# awk -F ":" '{if($3>=20){print $3}}' text
99 192
 81
 999

awk的循环

## 求和 文件所有第3列
[root@ansible-master awk]# awk -F ":" '{(tot=tot+$3)}; END {print tot}' text 4707

 

常见问题 ：

1、下面统计/etc/passwd的账户人数

#awk '{count++;print $0;} END{print "user count is ", count}' /etc/passwd

 

2、统计/etc/passwd:文件名，每行的行号，每行的列数，对应的完整行内容:

#awk  -F ':'  '{print "filename:" FILENAME ",linenumber:" NR ",columns:" NF ",linecontent:"$0}' /etc/passwd

 

3、搜索/etc/passwd有root关键字的所有行，并显示对应的shell

# awk -F: '/root/{print $7}' /etc/passwd   

 

4、只是显示最近登录的5个帐号

#last -n 5 | awk  '{print $1}'

 

5、显示/etc/passwd的账户

#cat /etc/passwd |awk  -F ':'  '{print $1}'  

6、只是显示/etc/passwd的账户和账户对应的shell,而账户与shell之间以tab键分割

#cat /etc/passwd |awk  -F ':'  '{print $1"t"$7}'

 

7、只是显示/etc/passwd的账户和账户对应的shell,而账户与shell之间以逗号分割,而且在所有行添加列名name,shell,在最后一行添加”blue,/bin/nosh”。

#cat /etc/passwd |awk  -F ':'  'BEGIN {print "name,shell"}  {print $1","$7} END {print "blue,/bin/nosh"}'

 

8、搜索/etc/passwd有root关键字的所有行

#awk -F: '/root/' /etc/passwd

 

9、使用printf替代print,可以让代码更加简洁，易读

awk  -F ':'  '{printf("filename:%10s,linenumber:%s,columns:%s,linecontent:%sn",FILENAME,NR,NF,$0)}'/etc/passwd

10、下面统计/etc/passwd的账户人数

awk '{count++;print $0;} END{print "user count is ", count}' /etc/passwd

root:x:0:0:root:/root:/bin/bash

......

user count is 40

 

11、没有初始化count，默认是0，把他们都初始化为0:

awk 'BEGIN {count=0;print "[start]user count is ", count} {count=count+1;print $0;} END{print "[end]user count is ", count}' /etc/passwd

[start]user count is  0

root:x:0:0:root:/root:/bin/bash

...

[end]user count is  40

12、统计某个文件夹下的文件占用的字节数

ls -l |awk 'BEGIN {size=0;} {size=size+$5;} END{print "[end]size is ", size}'

[end]size is 8657198

 

13、如果以M为单位显示:

ls -l |awk 'BEGIN {size=0;} {size=size+$5;} END{print "[end]size is ", size/1024/1024,"M"}'

[end]size is 8.25889 M

注意，统计不包括文件夹的子目录。

14、统计某个文件夹下的文件占用的字节数,过滤4096大小的文件(一般都是文件夹):

ls -l |awk 'BEGIN {size=0;print "[start]size is ", size} {if($5!=4096){size=size+$5;}} END{print "[end]size is ", size/1024/1024,"M"}'

[end]size is 8.22339 M

 

15、显示/etc/passwd的账户

#awk -F ':' 'BEGIN {count=0;} {name[count] = $1;count++;}; END{for (i = 0; i ' /etc/passwd

0 root

1 daemon

2 bin

3 sys

4 sync

5 games

16、

17、

18、

19、

20、

 

参考链接 ： 

10分钟学会 linux awk命令 ： https://mp.weixin.qq.com/s/a8inpw8TrEOw7rxVgYQDwg

 

 

 

 

 

 

 

 

转载于:https://my.oschina.net/u/3803405/blog/2254210

weixin_34336292
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
shell–awk（文本三剑客之一）
01-07
awk awk编程模型 正则表达式的扩展 awk Perl等还支持正则...3.以awk脚本的形式来执行awk命令 记录和域 1.域 $ +数字 2.$0所有域 3.$后跟表达式 4.tab被默认为连续的空格 5.-F 改变分隔符 以tab键为例 6.用+
shell脚本-正则、grep、sed、awk三剑客
12-16
在企业工作中，每天做的Linux运维工作中，时刻都会面对大量带有字符串的文本配置、程序、命令输出及日志文件等，而我们经常会有迫切的需要，从大量的字符串内容中查找符合工作需要的特定字符串。这就需要正则表达式...
linux awk运行方式,Linux awk命令使用详述
weixin_30510787的博客
04-30 240
awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。awk有3个不同版本: awk、nawk和gawk，未作特别说明，一般指gawk，gawk 是 AWK 的 GNU 版本。awk其名称得自于它的创始人 Alfred Aho 、Peter ...
Linux 命令行
weixin_30305735的博客
02-21 393
Linux 命令笔记 一、目录/文件 1.1 目录文件日常操作 . -> 当前目录 .. -> 上一级目录 .file/.dir -> 隐藏文件/文件夹 【ls】 查看指定目录文件 ls命令是最常用的linux命令，要配合着选项使用。 常用命令 ls -lh # 方便查看文件大小 ls -AsSh 【pwd】:查...
Linux （三剑客之三） awk命令详解
葡萄藤的博客
06-22 2019
awk简介awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。awk的功能是什么？与sed和grep很相似，awk是一种样式扫描与处理工具。但其功能却大大强于sed和grep。awk提供了极其强大的 功能：它几乎可以完成grep和sed所能...
Linux 命令基础操作
A_awen的博客
12-28 393
做java相关工作的开发，难免会遇到使用Linux命令进行操作或者部署系统服务，这里总结一下常用的一些基础的命令 一.基础命令 Linux关机重启 # 关机 shutdown -h now # 重启 shutdown -r now 查看系统，CPU信息 # 查看系统内核信息 uname -a # 查看系统内核版本 cat /proc/version # 查看当前用户环境变量 env cat /proc/cpuinfo # 查看有几个逻辑cpu, 包括cpu型号 cat /proc/cpuinfo
awk '{print $0}'说明
热门推荐
This My Life - chisj
08-09 1万+
l0=`ls -l /home/portal/test1|awk '{print $0}'`  #显示文件的详细信息 ll=`ls -l /home/portal/test1|awk '{print $1}'`  #显示文件权限 l2=`ls -l /home/portal/test1|awk '{print $2}'`  # l3=`ls -l /home/portal/test1|awk
Shell正则三剑客 | awk命令
qq_46229380的博客
10-14 469
AWK命令 awk 具有 grep 和 sed命令的特性，同时 AWK针对列进行匹配 语法格式 Usage : awk [options] -f progfile [–] file … Usage : awk [options] [–] ‘program’ file … 常用选项 -F fs fs指定输入分隔符，fs可以是字符串或正则表达式；如-F “:” -vvar=value 赋值一个用户定义变量，将外部变量传递给awk -f progfile 从脚本文件中读取awk命令 .
正则表达式三剑客之——awk命令
shengjie87的博客
07-29 1318
awk命令什么是awk工作原理语法格式内建变量配置实例 什么是awk awk本身是一种编程语言，主要用于unix/linux里对文本进行处理，也是一个工具。awk处理数据也是逐行扫描文件，从第一行到最后一行，寻找匹配特定模式的行，在这些行上进行你所要的操作，如果没有处理动作，它也会显示到标准输出（屏幕）如果没有指定模式，那么对所有的行进行处理。我们现在所用的awk其实是gawk [root@server ~]# which awk /usr/bin/awk [root@server ~]# ll /usr/
shell编程-文本文件处理（grep sed awk文本三剑客）
01-07
一、grep和正则表达式 1、正则表达式 以一串字符作为表达式向系统传达意思（过滤匹配数据），元字符是描述字符的字符，正则表达式是有一串字符和元字符构成的字符串，主要功能为文本查询和字符串操作，匹配文本 大...
shell脚本三剑客.docx
03-25
Linux 系统中的文本处理工具 —— 三剑客（grep、sed、awk） Linux 系统中有三个非常重要的文本处理工具，分别是 grep、sed 和 awk，它们被称为 Linux 系统中的“三剑客”。这些工具都是命令行界面的，能够帮助用户...
第二十四章：shell脚本-正则、grep、sed、awk三剑客1
08-08
3.基础正则表达式： ^word 搜索以word开头的 4.扩展的正则表达式：ERE（egrep或grep -E） + 重复一次或一次以上前面的一个字符 5.理
Linux Shell——用awk计算相邻两行相减
qq_36480087的博客
07-22 163
【代码】Linux Shell——用awk计算相邻两行相减。
shell编程——awk
nianwan2157的博客
07-19 841
root@server ~]# awk -v test="hello world" BEGIN'{ print test}'# 变量定义在-V参数后，print test}'#变量定义在BEGIN中。允许用户自定义自己的变量以便在程序代码中使用，变量名命名规则与大多数编程语言相同，只。变量名命名规则与大多数编程语言相同，只能使用字母、数字和下划线，且不能以数字开头。awk允许用户自定义自己的变量以便在程序代码中使用。能使用字母、数字和下划线，且不能以数字开头。因此，如果想输出空白行，则需要使。
linux系统升级和巡检
qq_63926306的博客
07-22 686
linux系统升级以及linux操作系统中系统基本信息的检查、文件系统和磁盘信息的检查、内存、cpu、进程信息的检查、定时任务的检查、网络、流量的检查脚本编写方法。
Linux——awk操作符
nianwan2157的博客
07-19 548
会导致第一行无法正确显示出来，由于读入第一行的时候，变量。以下的数据，并且仅列出账号与第三列。变量是空值，但是后面与之作比较的是整数，所以。种逻辑运算，分别为逻辑与、逻辑或和逻辑非。之间的所有行（成对多次匹配），如果条件。仅能在第二行后才开始生效。这个关键字来达到从第一行读入。还支持其他的一些运算符，例如正号。等，这些运算符的使用方法与其他。不成立，则一直匹配到文件尾部。这是一个三目运算符，当表达式。默认还是以空格符为分隔的，的语言的使用方法完全相同。的值为真时，返回值为。，满足条件，所以打印。
【pandas】read_csv时数据行数减少或报错
最新发布
atwdy的博客
07-22 660
字符，其中83261行和119979行中都只包含一个，所以导致83261行和119979行中的引号匹配。read_csv方法在解析文件时，默认会将双引号内的内容当作一个整体，因此83261行引号之后到119979整行数据，都会被解析成83261行的一个字段，这中间的数据行也就都丢失了。，该参数的含义是忽略文本字段中的所有引号，但是也可能会带来一个问题，就是引号中如果包含特殊字符比如分隔符，就会导致解析的字段变多引发异常。匹配时把其它的行误当作引号中的内容，解析成了一个字段。两者都可能是文件中包含特殊字符。
【Linux常用命令】之awk命令
终将成为大牛
07-22 243
awk命令由Alfred Aho、Peter Weinberger和Brian Kernighan三位开发的，其名称源自开发者姓氏的首字母。AWK不仅是一个命令，更是一种编程语言，专门用于处理和分析文本文件，对文本内容进行高效管理，awk、sed和grep并称为Linux系统中的文本三剑客。常用参数参数解释-f从脚本中读取awk命令-F设置输入时字段分隔符内置变量参数解释NF浏览记录域的个数RS控制记录分隔符参考示例打印特定字段的值，注意观察和前面的值，默认分隔是空格。
shell三剑客awk sed grep
02-24
Shell三剑客是指awk、sed和grep，它们是在Unix/Linux系统中非常常用的命令行工具，用于文本处理和数据提取。 1. awk（Aho, Weinberger, and Kernighan）是一种强大的文本处理工具，它可以根据指定的规则对文本进行分析和处理。awk以行为单位读取文本文件，并按照指定的规则进行匹配和处理。它支持自定义变量、条件语句、循环语句等，可以用于数据提取、格式化输出等任务。 2. sed（Stream Editor）是一种流式文本编辑器，它主要用于对文本进行替换、删除、插入等操作。sed按照指定的规则对输入文本进行处理，并将结果输出到标准输出或者文件中。它支持正则表达式匹配、替换、删除等操作，可以用于批量处理文本文件。 3. grep是一种强大的文本搜索工具，它可以在文件中查找指定的模式，并将匹配的行输出到标准输出。grep支持基本正则表达式和扩展正则表达式，可以根据不同的选项进行模式匹配、大小写敏感等操作。它常用于查找特定内容或者过滤文件中的行。 这三个工具在Shell脚本编程和命令行操作中非常常用，可以灵活处理文本数据，提取所需信息，实现各种文本处理任务。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值