Linux学习笔记 第八章 文本处理工具与正则表达式

1.1文本提取工具

1.cat：查看文件内容，打印一个或多个文件到标准输出
-n 打印行号
cat -n file1 file2 >> file3

2.head：默认打印前十行，可以接受文件和管道
- n +N 指定前N行，默认不带符号
- n -N 去掉末尾N行
cat -n file1 | head -n 5 查看开头5行，带行号
cat -n file1 | head -n -5 查看除掉末尾5行的所有行，带行号

3.tail：默认打印后十行
- n -N 指定末尾N行，默认不带符号
- n +N 从第N行到末尾
常用，可以查看日志
tail -f file/* 实时监控文件 tailf = tail -f

查看10到20行：cat -n | head -n 20 | tail -n 11

4.more：分页显示，一次性查看
more file
5.less：分页多次查看
less file
/text 查找关键词
g或G 第一页 最后一页
按v 进入vim编辑模式
按q 退出less
(man使用的就是less分页工具)

6.grep：过滤行，行为操作单位
grep text file 显示file文件中带有text字符串的行
常用
-i：忽略大小写敏感
-n：打印匹配的行号
-o：只显示匹配的内容,一个一行
-w：只匹配该单词，而不是含有该单词的单词
-c：匹配成功的行数
-v：打印不匹配的行
-q：静默输出（无输出），使用$？判断是否执行成功
-Ax：将匹配行及其后x行一起打印
-Bx：将匹配行及其前x行一起打印
-Cx：将匹配行及其前，后x行一起打印
-r：递归搜索目录，查找字符串所在的文件，后接目录
-l：匹配成功，只列出文件名，多于-r使用
–color=auto：用color颜色高亮显示匹配数据

1.2基本正则表达式

^String ：以String开头的行
例：grep -w ‘^root’ file01：过滤file01文件中以root单词开头的行
String$ ：以String结尾的行
例：grep -w 'bash$ ’ file01：过滤file01文件中以bash单词结尾的行
’^$'表示空行
\<String：以String开头的单词
String\>：以String结尾的单词
\<String\>等价于-w
.：对单个字符进行匹配，代表任意一个字符
[abc]：代表abc中任意单个字符，是其中一个，a或b或c
[^abc]：除了abc以外的任意单个字符，肯定不是a不是b不是c
^[abc]：a或b或c开头的行
^[^abc]： 不以a或b或c开头的行
[a-z]：a到z之间任意一个
[0-9]:数字
[a-z]:小写
[A-Z];大写
[a-zA-Z]:所有字母
[^a-zA-z0-9]: 除了字母和数字
\：转义字符
例：grep ‘^\[’ file01 ，过滤"["开头的行
*：对前一项字符进行0到多次匹配
例："ro*"代表 r 或 ro 或 roo 或 rooo…
“.*” 任意字符出现任意次

1.3扩展正则表达式

基本正则表达式依然适用
使用扩展正则表达式进行行过滤要使用 grep -E 或者 egrep
+：对前一个字符进行1到n次匹配，类似*
?：对前一个字符进行0到1次匹配，类似*
{j}：对前一个字符进行j次匹配
{j,}：对前一个字符进行j到若干多次匹配
{,k}：对前一个字符进行0到k次匹配
{j,k}：对前一个字符进行j到k次匹配
s|t匹配s或者匹配t
(exp)：将exp当作单项处理

1.4cut-提取列或字段

cut -d: -f1 /etc/passwd
-d：指定分隔符
-f：指定第几列
-c1-5：截取第1到5个字符
提取passwd文件以":"分割的第一列

1.5文本分析工具

• 文本统计：wc
  -l 统计行
  -w 统计单词
  -c 统计字节
• 文本排序：sort
  -t：指定分隔符
  -k：指定列
  -n：按数值大小排序
  -r：降序，从大到小
  -u：去重复行
  例：sort -t: -k3 -n passwd
  ps -eo %cpu,%mem,command | tail -n +2 | sort -rn | head
• 去除相邻重复行：uniq
  -c：重复行出现次数
• 文件比较：diff

1.6文本操作工具

• 文本转换工具：tr 把一种类型字符转换为另一种字符
  -s：去除重复字符串
  tr ‘/’ ‘\n’ 将所有/转换成换行符
  tr ’A-Z‘ ’a-z‘ 大小写转化
  tr -s ’ ’ 去除空格
• 流编辑器：sed
  sed-流编辑器用法：
  sed 选项 ‘str’ 文件名
  sed -n -r ‘/regxp/p’ file 打印匹配正则表达式所在的行，无高亮
  -r：支持扩展正则
  -n：静默输出
  
  
  示例：