一、正则表达式
1.RE字符
RE字符 意义 ^word 行首 word$ 行尾 ^$ 空白行 \ 转义字符 . 通配符,一个字符,包括空格 * 匹配紧挨在前面的字符任意次(0,1,多次) .* 匹配任意长度的任意字符 \? *匹配紧挨在前面的字符0次或1次 \+ *匹配紧挨在前面的字符1次或多次 () *群组 | *或者 [list] 匹配指定范围内的任意单个字符 [^list] 匹配指定不在范围内的任意单个字符 \{m,n\} 匹配其前面的字符至少m次,至多n次 \{m,\} 匹配其前面的字符至少m次 \{m\} 精确匹配前面的m次{0,n}:0到n次 < pattern> 单词锚点 \< pattern 匹配单词的开始 pattern\> 匹配单词的结束
二、grep
1.参数
参数 意义 -b 将可执行文件(binary)当作文本文件(text)来搜索 -c 仅显示找到的行数 -i 忽略大小写 -n 显示行号 -v 反向选择—仅列出没有“关键词”的行 -E 使用正则表达式 -o 只输出文件中匹配到的部分 -l 搜索多个文件并查找匹配文本在哪些文件中 -r 在多级目录中对文本进行递归搜索 -e 制动多个匹配样式
三、sed
1.参数
参数 意义 -n 只打印模式匹配的行 -e 直接在命令行模式上进行sed动作编辑,此为默认选项 -f 将sed的动作写在一个文件内,用–f filename 执行filename内的sed动作 -r 支持扩展表达式 -i 直接修改文件内容
2.限定范围式
限定范围式 意义 限定参数 参数为正则或行号,一行。行号:1~n~$ 限定参数,限定参数 以第一个参数为主(第二个无效),第二正则失效变为$,行号失效去逗号 限定参数,限定参数! 取反
3.编辑命令
编辑命令 意义 [限定范围式] p 打印匹配行(和-n选项一起合用) [限定范围式] = 显示文件行号 [限定范围式] a\字符串 在定位行后插入新文本信息 [限定范围式] i\字符串 在定位行前插入新文本信息 [限定范围式] d 删除定位行 [限定范围式] c\字符串 替换定位行 [限定范围式] r 文件名 将文本插入定位行后 [限定范围式] w 文件名 将定位行写入新文件 [限定范围式] s/正则/[&]字符串/[数字][g] 替换字符串,&代表自身,g代表所有 {} 在定位行执行的命令组,用分号隔开
四、awk
awk ‘BEGIN{ commands } pattern{ commands } END{ commands }’
1.参数
参数 意义 -F fs fs指定输入分隔符,fs可以是字符串或正则表达式 -v var=value 赋值一个用户定义变量,将外部变量传递给awk -f scripfile 从脚本文件中读取awk命令
2.awk内置变量
说明:[A][N][P][G]表示第一个支持变量的工具,[A]=awk、[N]=nawk、[P]=POSIXawk、[G]=gawk
支持工具 参数 意义 $n 前记录的第n个字段,比如n为1表示第一个字段,n为2表示第二个字段。 $0 个变量包含执行过程中当前行的文本内容。 [N] ARGC 令行参数的数目。 [G] ARGIND 令行中当前文件的位置(从0开始算)。 [N] ARGV 含命令行参数的数组。 [G] CONVFMT 字转换格式(默认值为%.6g)。 [P] ENVIRON 境变量关联数组。 [N] ERRNO 后一个系统错误的描述。 [G] FIELDWIDTHS 段宽度列表(用空格键分隔)。 [A] FILENAME 前输入文件的名。 [P] FNR 同NR,相对于当前文件。 [A] FS 段分隔符(默认是任何空格)。 [G] IGNORECASE 果为真,则进行忽略大小写的匹配。 [A] NF 示字段数,在执行过程中对应于当前的字段数。 [A] NR 示记录数,在执行过程中对应于当前的行号。 [A] OFMT 字的输出格式(默认值是%.6g)。 [A] OFS 出字段分隔符(默认值是一个空格)。 [A] ORS 出记录分隔符(默认值是一个换行符)。 [A] RS 录分隔符(默认是一个换行符)。 [N] RSTART match函数所匹配的字符串的第一个位置。 [N] RLENGTH match函数所匹配的字符串的长度。 [N] SUBSEP 组下标分隔符(默认值是34)。
3.运算符
运算符 意义 ~ 匹配正则表达式 ~! 不匹配正则表达式 ^ * 求幂
4.算术函数
格式 描述 atan2( y, x ) 返回 y/x 的反正切。 cos( x ) 返回 x 的余弦;x 是弧度。 sin( x ) 返回 x 的正弦;x 是弧度。 exp( x ) 返回 x 幂函数。 log( x ) 返回 x 的自然对数。 sqrt( x ) 返回 x 平方根。 int( x ) 返回 x 的截断至整数的值。 rand( ) 返回任意数字 n,其中 0 <= n < 1。 srand( [expr] ) 将 rand 函数的种子值设置为 Expr 参数的值,或如果省略 Expr 参数则使用某天的时间。返回先前的种子值。
5.字符串函数
注:Ere都可以是正则表达式。
格式 描述 gsub( Ere, Repl, [ In ] ) 除了正则表达式所有具体值被替代这点,它和 sub 函数完全一样地执行。 sub( Ere, Repl, [ In ] ) 用 Repl 参数指定的字符串替换 In 参数指定的字符串中的由 Ere 参数指定的扩展正则表达式的第一个具体值。sub 函数返回替换的数量。出现在 Repl 参数指定的字符串中的 &(和符号)由 In 参数指定的与 Ere 参数的指定的扩展正则表达式匹配的字符串替换。如果未指定 In 参数,缺省值是整个记录($0 记录变量)。 index( String1, String2 ) 在由 String1 参数指定的字符串(其中有出现 String2 指定的参数)中,返回位置,从 1 开始编号。如果 String2 参数不在 String1 参数中出现,则返回 0(零)。 length [(String)] 返回 String 参数指定的字符串的长度(字符形式)。如果未给出 String 参数,则返回整个记录的长度($0 记录变量)。 blength [(String)] 返回 String 参数指定的字符串的长度(以字节为单位)。如果未给出 String 参数,则返回整个记录的长度($0 记录变量)。 substr( String, M, [ N ] ) 返回具有 N 参数指定的字符数量子串。子串从 String 参数指定的字符串取得,其字符以 M 参数指定的位置开始。M 参数指定为将 String 参数中的第一个字符作为编号 1。如果未指定 N 参数,则子串的长度将是 M 参数指定的位置到 String 参数的末尾 的长度。 match( String, Ere ) 在 String 参数指定的字符串(Ere 参数指定的扩展正则表达式出现在其中)中返回位置(字符形式),从 1 开始编号,或如果 Ere 参数不出现,则返回 0(零)。RSTART 特殊变量设置为返回值。RLENGTH 特殊变量设置为匹配的字符串的长度,或如果未找到任何匹配,则设置为 -1(负一)。 split( String, A, [Ere] ) 将 String 参数指定的参数分割为数组元素 A[1], A[2], …, A[n],并返回 n 变量的值。此分隔可以通过 Ere 参数指定的扩展正则表达式进行,或用当前字段分隔符(FS 特殊变量)来进行(如果没有给出 Ere 参数)。除非上下文指明特定的元素还应具有一个数字值,否则 A 数组中的元素用字符串值来创建。 tolower( String ) 返回 String 参数指定的字符串,字符串中每个大写字符将更改为小写。大写和小写的映射由当前语言环境的 LC_CTYPE 范畴定义。 toupper( String ) 返回 String 参数指定的字符串,字符串中每个小写字符将更改为大写。大写和小写的映射由当前语言环境的 LC_CTYPE 范畴定义。 sprintf(Format, Expr, Expr, … ) 根据 Format 参数指定的 printf 子例程格式字符串来格式化 Expr 参数指定的表达式并返回最后生成的字符串。
格式化字符串输出(sprintf使用)
格式 描述 %d 十进制有符号整数 %u 十进制无符号整数 %f 浮点数 %s 字符串 %c 单个字符 %p 指针的值 %e 指数形式的浮点数 %x %X 无符号以十六进制表示的整数 %o 无符号以八进制表示的整数 %g 自动选择合适的表示法
6.一般函数
格式 描述 close( Expression ) 用同一个带字符串值的 Expression 参数来关闭由 print 或 printf 语句打开的或调用 getline 函数打开的文件或管道。如果文件或管道成功关闭,则返回 0;其它情况下返回非零值。如果打算写一个文件,并稍后在同一个程序中读取文件,则 close 语句是必需的。 system(command ) 执行 Command 参数指定的命令,并返回退出状态。等同于 system 子例程。 Expression getline [ Variable ] getline [ Variable ] < Expression 从 Expression 参数指定的文件读取输入的下一个记录,并将 Variable 参数指定的变量设置为该记录的值。只要流保留打开且 Expression 参数对同一个字符串求值,则对 getline 函数的每次后续调用读取另一个记录。如果未指定 Variable 参数,则 $0 记录变量和 NF 特殊变量设置为从流读取的记录。 getline [ Variable ] 将 Variable 参数指定的变量设置为从当前输入文件读取的下一个输入记录。如果未指定 Variable 参数,则 $0 记录变量设置为该记录的值,还将设置 NF、NR 和 FNR 特殊变量。
7.时间函数
函数名 说明 mktime( YYYY MM dd HH MM ss[ DST]) 生成时间格式 strftime([format [, timestamp]]) 格式化时间输出,将时间戳转为时间字符串 systime() 得到时间戳,返回从1970年1月1日开始到当前时间(不计闰年)的整秒数
strftime日期和时间格式说明符
格式 描述 %a 星期几的缩写(Sun) %A 星期几的完整写法(Sunday) %b 月名的缩写(Oct) %B 月名的完整写法(October) %c 本地日期和时间 %d 十进制日期 %D 日期 08/20/99 %e 日期,如果只有一位会补上一个空格 %H 用十进制表示24小时格式的小时 %I 用十进制表示12小时格式的小时 %j 从1月1日起一年中的第几天 %m 十进制表示的月份 %M 十进制表示的分钟 %p 12小时表示法(AM/PM) %S 十进制表示的秒 %U 十进制表示的一年中的第几个星期(星期天作为一个星期的开始) %w 十进制表示的星期几(星期天是0) %W 十进制表示的一年中的第几个星期(星期一作为一个星期的开始) %x 重新设置本地日期(08/20/99) %X 重新设置本地时间(12:00:00) %y 两位数字表示的年(99) %Y 当前月份 %Z 时区(PDT) %% 百分号(%)