Linux Shell文本处理命令技巧

find命令
按正则表达式来匹配文件
find -regex 貌似这里的正则表达式规则和一般的正则表达式规则有点不一样 还没有弄清楚

按照时间搜索 -号表示小于 +号表示大于
find . [-atime | -mtime | -ctime] [+|-]n[smhdw]

按大小搜索 单位k M G
find . -type f -size [-|+]2k

按权限搜索
find -perm mode 严格匹配模式
find -perm -mode 表示权限位转换为二进制后，1的比特位要匹配，0的比特位不用匹配
find -perm +mode 与 -mode的区别是+mode只需其中的任意一个1比特位被匹配，-mode是所有1比特位都必须被匹配，同样+mode也不管0位

将找到的文件拷贝到文档目录
find . -type f -mtime +10 -name “*.txt” -exec cp {} ~/Documents/ \;

-exec中指定脚本执行
-exec ./commands.sh {} \;

grep命令
-o 只输出匹配的文本行
-v 只输出没有匹配的文本行
-c 统计文件中包含文本的次数
-n 打印匹配的行号
-i 搜索时忽略大小写
-l 只打印文件名

递归搜索某个目录，并打印出行号
grep “Jonathan” . -R -n

将找到的匹配高亮
grep test . -R -n –colour

匹配多个模式
grep -e “test” -e “image” . -R -n –colour

xargs命令
xargs命令的作用是讲stdin的输入按照一定的方式组织，然后把组织好的结果当做参数传给下一个命令
-0 当sdtin含有特殊字元时候，将其当成一般字符

sort命令
-n 按数字进行排序
-d 按字典序进行排序
-r 逆序排序
-k N 指定按第N列排序

uniq命令
uniq消除重复行
sort unsort.txt | uniq
统计各行在文件中出现的次数

sort unsort.txt | uniq -c
找出重复行

sort unsort.txt | uniq -d

tr命令

echo 12345 | tr ‘0-9’ ‘9876543210’ // 0对应9 1对应8 。。。
字符类

alnum：字母和数字
alpha：字母
digit：数字
space：空白字符
lower：小写
upper：大写
cntrl：控制（非可打印）字符
print：可打印字符
使用方法：tr [:class:] [:class:]
eg: tr ‘[:lower:]’ ‘[:upper:]’

paste命令拼接两个文件

paste file1 file2

wc命令
wc -l file // 统计行数
wc -w file // 统计单词数
wc -c file // 统计字符数

sed命令
首处替换
sed ‘s/text/replace_text/’ file //替换每一行的第一处匹配的text
全局替换
sed ‘s/text/replace_text/g’ file
默认替换后，输出替换后的内容，如果需要直接替换原文件,使用-i：
sed -i ‘s/text/repalce_text/g’ file
移除空白行

sed ‘/^$/d’ file
变量转换
已匹配的字符串通过标记&来引用.

echo this is en example | seg ‘s/\w+/[&]/g’
$>[this] [is] [en] [example]
子串匹配标记
第一个匹配的括号内容使用标记 \1 来引用

sed ‘s/hello([0-9])/\1/’ file
双引号求值
sed通常用单引号来引用；也可使用双引号，使用双引号后，双引号会对表达式求值：

sed ‘s/$var/HLLOE/’

awk命令
结构
awk ’ BEGIN{ statements } {statements} END{ statements } ’
NR:表示记录数量，在执行过程中对应当前行号；
NF:表示字段数量，在执行过程总对应当前行的字段数；
$0:这个变量包含执行过程中当前行的文本内容；$1:第一个字段的文本内容；
$2:第二个字段的文本内容；

打印每一行的第二和第三个字段：
awk '{print $2, $3}' file

统计文件的行数

awk ' END {print NR}' file

打印行号小于5的行

awk 'NR < 5 {print $0}' file

打印第一行和第四行

awk 'NR==1,NR==4 {print $0}' file

打印包含有text文本的行 可以使用正则表达式 功能超级强大

awk '/text/ {print $0}'

打印不包含text文本的行

awk '!/linux/ {print $0}'