Linux学习笔记（五）：文本处理
强大之处，在不同方面发挥出巨大能力。
一、grep命令
查找文件里符合条件的字符串
·一个之前多次用到的命令，也是在文本处理中最常用到的命令之一，系统学习。
grep -E '^[0-9]{3}' you.txt //-E参数使用正则表达式，相当于egrep命令
grep -A num -E '^[0-9]{3}' you.txt //-A参数的作用是输出匹配到结果的行，并显示之后的num行
grep -B num -E '^[0-9]{3}' you.txt //-B参数的作用是输出匹配到结果的行，并显示之前的num行
grep -C num -E '^[0-9]{3}' you.txt //-C参数的作用是输出匹配到结果的行，并显示前后的num行
-A、B、C参数后必须要跟数值，否则会报错（invalid）
grep -d //-d参数的作用是查找目录而不是文件，该参数有三个选项‘read’ ‘recurse’‘skip’
grep -r //-r参数与grep -d recurse相同
grep -c -i //-c参数的作用是输出该内容出现的列数，-i参数为忽略大小
grep -h vj you.txt //-h参数不标示查找到的该行的所属的文件名称
grep -H vj you.txt //-H参数标示查找到的该行的所属的文件名称
grep -n vj you.txt //-n在查找的内容前标出行数
grep -v vj you.txt //-v参数，匹配除要查找之外的内容（取反）
grep -V vj you.txt //-V参数，显示版本信息
grep -q //-q参数不显示任何信息，静默运行
grep -s //-s参数不显示错误信息
grep -a //-a参数不忽略二进制的数据
egrep
egrep执行效果与"grep-E"相似，使用的语法及参数可参照grep指令，关于正则表达式的用法见之前文章。
egrep是用ERE语法来解读的，grep用BRE语法解读，ERE比BRE表达更规范。
extended regular expression：扩展的正则表达式
basic regular expression：正则表达式
二、awk命令
强大的文本分析工具
awk命令就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分在进行各种分析处理
awk命令工作原理
- 读输入文件之前执行的代码段（由BEGIN关键字标识）
- 主循环执行输入文件的代码段
- 读输入文件之后的代码段（由END关键字标识）
awk 'BEGIN{ commands } pattern{ commands } END{ commands }'
开始块（BEGIN） 是在程序启动的时候执行的代码部分，并且它在整个过程中只执行一次（可选项）
主体块（BODY） 默认情况下，对于输入的每一行，AWK 都会执行命令，在主体块部分没有关键字存在。
结束块（END） 结束块是在程序结束时执行的代码，与开始块相似（可选项）
awk '{[pattern] action}' {filenames} # 行匹配语句只能用单引号
awk '{print $1,$3}' you.txt //以空格分隔输出第一项跟第三项的内容
在awk命令中的参数-F等于内建变量BEGIN{FS=","}
awk -F,'{print $1,$3}' you.txt //-F参数用于指定以什么为分隔
awk -F'[ ,]' '{print $1,$3}' you.txt //-F参数还可以同时指定多个分隔符
awk -f {awk脚本} {文件名} //-f可以使用预设好的awk脚本进行查找筛选
运算符
除去参数，awk命令还可以使用最为基本的运算符来进行判断筛选
| 运算符 | 描述 |
|---|---|
| = += -= *= /= %= ^= **= | 赋值 |
| ?: | C条件表达式 |
| || | 逻辑或 |
| && | 逻辑与 |
| ~ 和 !~ | 匹配正则表达式和不匹配正则表达式 |
| < <= > >= != == | 关系运算符 |
| 空格 | 连接 |
| + - | 加，减 |
| * / % | 乘，除与求余 |
| + - ! 一 | 元加，减和逻辑非 |
| ^ *** | 求幂 |
| ++ – | 增加或减少，作为前缀或后缀 |
| $ | 字段引用 |
| in | 数组成员 |
awk '$4==CHAN' you.txt //过滤出第四列的值为CHAN的行
awk的内置变量
| 变量 | 描述 |
|---|---|
| $n | 当前记录的第n个字段，字段间由FS分隔 |
| $0 | 完整的输入记录 |
| ARGC | 命令行参数的数目 |
| ARGIND | 命令行中当前文件的位置(从0开始算) |
| ARGV | 包含命令行参数的数组 |
| CONVFMT | 数字转换格式(默认值为%.6g)ENVIRON环境变量关联数组 |
| ERRNO | 最后一个系统错误的描述 |
| FIELDWIDTHS | 字段宽度列表(用空格键分隔) |
| FILENAME | 当前文件名 |
| FNR | 各文件分别计数的行号 |
| FS | 字段分隔符(默认是任何空格) |
| IGNORECASE | 如果为真，则进行忽略大小写的匹配 |
| NF | 一条记录的字段的数目 |
| NR | 已经读出的记录数，就是行号，从1开始 |
| OFMT | 数字的输出格式(默认值是%.6g) |
| OFS | 输出字段分隔符，默认值与输入字段分隔符一致。 |
| ORS | 输出记录分隔符(默认值是一个换行符) |
| RLENGTH | 由match函数所匹配的字符串的长度 |
| RS | 记录分隔符(默认是一个换行符) |
| RSTART | 由match函数所匹配的字符串的第一个位置 |
| SUBSEP | 数组下标分隔符(默认值是/034) |
awk脚本
利用awk命令的工作原理和其内置变量可以编写awk脚本
#!/bin/awk -f
#运行前
BEGIN {
printf "---------------------------------------------\n"
}
#运行中
{
}
#运行后
END {
printf "---------------------------------------------\n"
}
三、sed命令
sed命令可依照脚本的指令来处理、编辑文本文件
-e<script>以选项中指定的script来处理输入的文本文件
-f<script文件>以选项中指定的script文件来处理输入的文本文件
sed动作
| 动作 | 动作说明： |
|---|---|
| a | 增加， a 的后面可以接字串，这些字串会在目前的下一行出现 |
| c | 取代， c 的后面可以接字串，这些字串可以取代 n1,n2 之间的行 |
| d | 删除 |
| i | 插入， i 的后面可以接字串，这些字串会在目前的上一行出现 |
| p | 打印，通常 p 会与参数 sed -n 一起使用 |
| s | 取代，可以直接进行取代 |
sed -e '4 a chanwill' you.txt //在第四行后增加一个chanwill的字段
sed -e '4 a chanwill\nyou' you.txt //在第四行后增加两行内容
sed命令的使用
以行为单位的删除sed ‘2,5d’、sed '3,$d’
以行为单位的替换与显示sed -n '5,7p’
直接修改文件内容sed -i ‘s/.$/!/g’ you.txt
sed命令的i参数可以直接修改文件的内容，当要修改的文件过大时可以使用sed命令
四、find命令
在指定目录下查找文件
find path -option [-print] [-exec -ok command ] {} \;
find . -name "*you"
find . -type f //查看当前目录下及子目录下的所有文件
| -type c | 文件类型是 c 的文件 |
|---|---|
| d | 目录 |
| c | 字型装置文件 |
| b | 区块装置文件 |
| p | 具名贮列 |
| f | 一般文件 |
| l | 符号连结 |
| s | socket |
find . -ctime -20 //当前目录及子目录下所有最近20天内更新过的文件
| -amin n | 在过去 n 分钟内被读取过 |
|---|---|
| -anewer file | 比文件 file 更晚被读取过的文件 |
| -atime n | 在过去n天内被读取过的文件 |
| -cmin n | 在过去 n 分钟内被修改过 |
| -cnewer file | 比文件 file 更新的文件 |
| -ctime n | 在过去n天内被修改过的文件 |
find / -type f -newerct "2021-08-16 13:00" -a -not -newerct "2021-08-16 15:00"
-maxdepth 查找目录的级数
-size 按文件大小查找（单位 c表示字节）
+x 代表大小大于X的；-x 代表大小小于X的；x 代表大小刚好等于X的
五、Linux官方帮助文档
grep
[root@localhost ~]# grep --help
用法: grep [选项]... PATTERN [FILE]...
在每个 FILE 或是标准输入中查找 PATTERN。
默认的 PATTERN 是一个基本正则表达式(缩写为 BRE)。
例如: grep -i 'hello world' menu.h main.c
正则表达式选择与解释:
-E, --extended-regexp PATTERN 是一个可扩展的正则表达式(缩写为 ERE)
-F, --fixed-strings PATTERN 是一组由断行符分隔的定长字符串。
-G, --basic-regexp PATTERN 是一个基本正则表达式(缩写为 BRE)
-P, --perl-regexp PATTERN 是一个 Perl 正则表达式
-e, --regexp=PATTERN 用 PATTERN 来进行匹配操作
-f, --file=FILE 从 FILE 中取得 PATTERN
-i, --ignore-case 忽略大小写
-w, --word-regexp 强制 PATTERN 仅完全匹配字词
-x, --line-regexp 强制 PATTERN 仅完全匹配一行
-z, --null-data 一个 0 字节的数据行，但不是空行
Miscellaneous:
-s, --no-messages suppress error messages
-v, --invert-match select non-matching lines
-V, --version display version information and exit
--help display this help text and exit
输出控制:
-m, --max-count=NUM NUM 次匹配后停止
-b, --byte-offset 输出的同时打印字节偏移
-n, --line-number 输出的同时打印行号
--line-buffered 每行输出清空
-H, --with-filename 为每一匹配项打印文件名
-h, --no-filename 输出时不显示文件名前缀
--label=LABEL 将LABEL 作为标准输入文件名前缀
-o, --only-matching show only the part of a line matching PATTERN
-q, --quiet, --silent suppress all normal output
--binary-files=TYPE assume that binary files are TYPE;
TYPE is 'binary', 'text', or 'without-match'
-a, --text equivalent to --binary-files=text
-I equivalent to --binary-files=without-match
-d, --directories=ACTION how to handle directories;
ACTION is 'read', 'recurse', or 'skip'
-D, --devices=ACTION how to handle devices, FIFOs and sockets;
ACTION is 'read' or 'skip'
-r, --recursive like --directories=recurse
-R, --dereference-recursive
likewise, but follow all symlinks
--include=FILE_PATTERN
search only files that match FILE_PATTERN
--exclude=FILE_PATTERN
skip files and directories matching FILE_PATTERN
--exclude-from=FILE skip files matching any file pattern from FILE
--exclude-dir=PATTERN directories that match PATTERN will be skipped.
-L, --files-without-match print only names of FILEs containing no match
-l, --files-with-matches print only names of FILEs containing matches
-c, --count print only a count of matching lines per FILE
-T, --initial-tab make tabs line up (if needed)
-Z, --null print 0 byte after FILE name
文件控制:
-B, --before-context=NUM 打印以文本起始的NUM 行
-A, --after-context=NUM 打印以文本结尾的NUM 行
-C, --context=NUM 打印输出文本NUM 行
-NUM same as --context=NUM
--group-separator=SEP use SEP as a group separator
--no-group-separator use empty string as a group separator
--color[=WHEN],
--colour[=WHEN] use markers to highlight the matching strings;
WHEN is 'always', 'never', or 'auto'
-U, --binary do not strip CR characters at EOL (MSDOS/Windows)
-u, --unix-byte-offsets report offsets as if CRs were not there
(MSDOS/Windows)
‘egrep’即‘grep -E’。‘fgrep’即‘grep -F’。
直接使用‘egrep’或是‘fgrep’均已不可行了。
若FILE 为 -，将读取标准输入。不带FILE，读取当前目录，除非命令行中指定了-r 选项。
如果少于两个FILE 参数，就要默认使用-h 参数。
如果有任意行被匹配，那退出状态为 0，否则为 1；
如果有错误产生，且未指定 -q 参数，那退出状态为 2。
请将错误报告给: bug-grep@gnu.org
GNU Grep 主页: <http://www.gnu.org/software/grep/>
GNU 软件的通用帮助: <http://www.gnu.org/gethelp/>
awk
[root@localhost ~]# awk -help
Usage: awk [POSIX or GNU style options] -f progfile [--] file ...
Usage: awk [POSIX or GNU style options] [--] 'program' file ...
POSIX options: GNU long options: (standard)
-f progfile --file=progfile
-F fs --field-separator=fs
-v var=val --assign=var=val
Short options: GNU long options: (extensions)
-b --characters-as-bytes
-c --traditional
-C --copyright
-d[file] --dump-variables[=file]
-e 'program-text' --source='program-text'
-E file --exec=file
-g --gen-pot
-h --help
-L [fatal] --lint[=fatal]
-n --non-decimal-data
-N --use-lc-numeric
-O --optimize
-p[file] --profile[=file]
-P --posix
-r --re-interval
-S --sandbox
-t --lint-old
-V --version
To report bugs, see node `Bugs' in `gawk.info', which is
section `Reporting Problems and Bugs' in the printed version.
gawk is a pattern scanning and processing language.
By default it reads standard input and writes standard output.
Examples:
gawk '{ sum += $1 }; END { print sum }' file
gawk -F: '{ print $1 }' /etc/passwd
sed
[root@localhost ~]# sed --help
用法: sed [选项]... {脚本(如果没有其他脚本)} [输入文件]...
-n, --quiet, --silent
取消自动打印模式空间
-e 脚本, --expression=脚本
添加“脚本”到程序的运行列表
-f 脚本文件, --file=脚本文件
添加“脚本文件”到程序的运行列表
--follow-symlinks
直接修改文件时跟随软链接
-i[SUFFIX], --in-place[=SUFFIX]
edit files in place (makes backup if SUFFIX supplied)
-c, --copy
use copy instead of rename when shuffling files in -i mode
-b, --binary
does nothing; for compatibility with WIN32/CYGWIN/MSDOS/EMX (
open files in binary mode (CR+LFs are not treated specially))
-l N, --line-length=N
指定“l”命令的换行期望长度
--posix
关闭所有 GNU 扩展
-r, --regexp-extended
在脚本中使用扩展正则表达式
-s, --separate
将输入文件视为各个独立的文件而不是一个长的连续输入
-u, --unbuffered
从输入文件读取最少的数据，更频繁的刷新输出
-z, --null-data
separate lines by NUL characters
--help
display this help and exit
--version
output version information and exit
如果没有 -e, --expression, -f 或 --file 选项，那么第一个非选项参数被视为
sed脚本。其他非选项参数被视为输入文件，如果没有输入文件，那么程序将从标准
输入读取数据。
GNU sed home page: <http://www.gnu.org/software/sed/>.
General help using GNU software: <http://www.gnu.org/gethelp/>.
E-mail bug reports to: <bug-sed@gnu.org>.
Be sure to include the word ``sed'' somewhere in the ``Subject:'' field.
find
[root@localhost ~]# find --help
用法: find [-H] [-L] [-P] [-Olevel] [-D help|tree|search|stat|rates|opt|exec] [path...] [expression]
默认路径为当前目录；默认表达式为 -print
表达式可能由下列成份组成：操作符、选项、测试表达式以及动作：
操作符 (优先级递减；未做任何指定时默认使用 -and):
( EXPR ) ! EXPR -not EXPR EXPR1 -a EXPR2 EXPR1 -and EXPR2
EXPR1 -o EXPR2 EXPR1 -or EXPR2 EXPR1 , EXPR2
positional options (always true): -daystart -follow -regextype
normal options (always true, specified before other expressions):
-depth --help -maxdepth LEVELS -mindepth LEVELS -mount -noleaf
--version -xautofs -xdev -ignore_readdir_race -noignore_readdir_race
比较测试 (N 可以是 +N 或 -N 或 N): -amin N -anewer FILE -atime N -cmin N
-cnewer 文件 -ctime N -empty -false -fstype 类型 -gid N -group 名称
-ilname 匹配模式 -iname 匹配模式 -inum N -ipath 匹配模式 -iregex 匹配模式
-links N -lname 匹配模式 -mmin N -mtime N -name 匹配模式 -newer 文件
-nouser -nogroup -path PATTERN -perm [-/]MODE -regex PATTERN
-readable -writable -executable
-wholename PATTERN -size N[bcwkMG] -true -type [bcdpflsD] -uid N
-used N -user NAME -xtype [bcdpfls]
-context 文本
操作: -delete -print0 -printf 格式 -fprintf 文件 格式 -print
-fprint0 文件 -fprint 文件 -ls -fls 文件 -prune -quit
-exec 命令 ; -exec 命令 {} + -ok 命令 ;
-execdir 命令 ; -execdir 命令 {} + -okdir 命令 ;
通过 findutils 错误报告页 http://savannah.gnu.org/ 报告错误及跟踪修定过程。如果您无法浏览网页，请发电子邮件至 <bug-findutils@gnu.org>
405
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
