linux命令grep sed sort uniq的常用技巧

---

grep

参数

不缓冲

因为管道的全缓冲机制，tail -f file | grep xxx| grep yyy需要缓冲到足够数据才会输出，因此可以增加--line-buffered参数来保证每行输出

---

sed

参数

不缓冲

-u|--unbuffered

使用extended正则

-r

正则

删掉匹配上的部分

#echo "a(beeee)f" | sed 's/(.*)//g'
#af

只保留匹配上的部分

利用分组()来用匹配上的部分替换掉整个原串 这里可能要增加参数-r使用ERE规则

#echo "a(beeee)f" | sed 's/.*\((.*)\).*/\1/g'
#(beeee)

注意: BRE和ERE两种情况下对括号的转义不同

# 一般情况下，括号表示括号
echo "a(bebe)a(be)a(bbee)f" | sed 's/(be)//g'
a(bebe)aa(bbee)f

# 表示分组功能时候 需要使用转义的括号
echo "a(bebe)a(be)a(bbee)f" | sed 's/\(be\)//g'
a()a()a(be)f

# ERE规则下，使用括号字符需要转义
echo "a(bebe)a(be)a(bbee)f" | sed -r 's/\(be\)//g'
a(bebe)aa(bbee)f

# 表示分组功能的括号不需要转义
echo "a(bebe)a(be)a(bbee)f" | sed -r 's/(be)//g'
a()a()a(be)f

最小匹配(非贪婪匹配)

使用非集合取中间的最小匹配[^str]*
例如 删除下列字符串中的括号和括号中的内容

#echo "(a)bb(ccc)dddd(eeeee)f" | sed 's/(.*)//g'
#f

#echo '(a)bb(ccc)dddd(eeeee)f' | sed 's/([^)]*)//g'
#bbddddf

注意: .*?不可用

---

sort

对行进行排序，可以指定field

参数

-t 指定field的分隔符, -t ':'用:作为field的分割符号
-k 指定排序的field,可以限制字符,并且可以限制到字符, -k 4.7,4.9 指定用第4个field的第7到第9字符排序，不包括第九个，不过指定的字符不能跨field
-n/-d 指定排序时候对关键字使用数字排序/字符串字典序
-r 倒序排序
多列排序可以按照优先级顺序写参数

uniq

相邻行重复的进行去重等处理

参数

-u 只输出有重复的行
-d 之输出没有重复的行
-c 对所有行的进行计数