最常用字符串处理命令

1、tr  字符、字符串处理

2、find  查询文件

3、grep 查询字符

4、awk 分割字符串

5、sort  排序

6、uniq 行比对是否重复

7、cut  截取字符串

8、cat、head、more、less显示文件内容

9、comm、diff 比较文件内容

10、printf输出格式

11、sed处理文件内容及显示

tr 处理字符串
删除字符串
tr -d ""

查看使用文件句柄
losf
export LANG=zh_CN.utf8
LANG=en_US

查看find命令
man find
-a【min（分钟）、time小时】 被访问文件
-c【min（分钟）、time小时】 状态被修改文件
-m【min（分钟）、time小时】 内容被修改文件
find . -ctime  -1 一小时内被修改文件
find . -cmin  -10 一分钟内被修改文件
查看文件夹大小
du -h --max-depth=1

cat epayTime.log |grep "sum  time"|awk '{print $6}'|awk -F '[' '{print $2}'|awk -F ']' '{print $1}'|sort -nrk2 -t[


rm ` ls |grep 2015|grep -v 07` 排除删除

grep -E 'a|b'
grep -v java  排除java字段
awk -F '['  去除字符
awk '{print $6}' 显示第几个字符
awk -F '['{print NF}' 分割后数据个数
awk -F '['{print $NF}' 分割后最后一个数据值
排序
sort -rn  降序排列
sort -n 升序排列
sort -nrk2 -t[   -t后是分隔符 k指定列数

去除重复项
uniq -c 统计重复次数(注意统计次数时需要进行sort一下，因为uniq统计是统计相邻的相同数据认为是重复的，隔一行就不认为是重复的，如果看这着相同但是就是认为不是一行就是用uniq -f 1 去除一部分数据)
uniq -d 仅显示重复行
uniq -u 仅显示不重复行
uniq -f 1 从第一个之后计算

cut剪切
cut -c1-2,4-5 获取1-2，与4-5位置字符
cut -d : -f 2  使用：进行分割并获取分割后的第二个域 空格分割只适用一个空格

计算平均值
cat online.log |grep "http response time" |awk -F '[' '{print $3}'|awk -F ']' '{print  $1}'|awk '{sum+=$1} END {print "http average=",sum/NR,"num:"+NR}'

cat file1>>file2 将file1拼接到file2末尾

comm比较命令（前提数据进行排序）
1--第一个文件数据列
2--第二个文件数据列
3--两个文件的差别行
12表示交集只显示在两个文件中都存在的行
23只显示在第一个文件中出现而未在第二个文件中出现的行；
comm -12 file1 file2 只显示两个文件都存在的行
comm -23 file1 file2 只显示第一个文件中出现的行

diff比较命令
不需要排序逐行比较
diff file1 file2

 

10、printf

awk '{printf "%-20s%-20s%-20s%-20s%-20s\n",$3,$6,$5,$10,$NF}'

11、sed

sed [nefri] 'command' file(s)

常用选项:

-n　　使用安静（silent）模式。在一般sed的用法中，所有来自stdin的资料一般都会被列出到屏幕，但如果加上-n参数后，则只有经过sed特殊处理的那一行（或者command）才会被列出来。
-e　　允许多点编辑。
-f　　直接将sed的动作写在一个档案内，-f filename 则可以执行filename内的sed动作。
-r　　sed 的动作支援的是延伸型正规表示法的语法。(预设是基础正规表示法语法)
-i　　直接修改读取的档案内容，而不是由屏幕输出。

常用command:

a\　　新增， a 的后面可以接字串，而这些字串会在新的一行出现(目前的下一行)～
c\　　取代， c 的后面可以接字串，这些字串可以取代 n1,n2 之间的行！
d　　删除，因为是删除啊，所以 d 后面通常不接任何咚咚；
i\　　插入， i 的后面可以接字串，而这些字串会在新的一行出现(目前的上一行)；
p　　列印，亦即将某个选择的资料印出。通常 p 会与参数 sed -n 一起运作～
s　　取代，可以直接进行取代的工作哩！通常这个 s 的动作可以搭配正规表示法！例如 1,20s/old/new/g

 修改文件内容

sed -i 's/abc/xxx/g' file  修改指定字符串

abc修改前的字符串
xxx是修改后的字符串
file是要被修改的文件

sed -i '/A/a\B' filename  在A下添加行B   /a

sed -i "/transDate/c\transDate=$time" test  transDate 替换transDate=$time行中

 

转载于:https://www.cnblogs.com/atwanli/articles/4945075.html