打印指定列 域信息
more lance3333.txt | awk -F ":" '{print $3}'|awk '{print $3}'
把文件中的重复行 写入 lance444
awk 'a[$0]++' lance.txt >> lance444.txt
把 lance.txt 文件中的不重复行 写入 lance333
awk '!a[$0]++' lance.txt >> lance3333.txt
查询文件夹下所有包括指定字符串的文件内容 并把他们写入 lance.txt
grep -r "BatchUpdateException: Duplicate" ./* >>lance.txt
查询文件中包括某个字符的所有行
grep -r "BatchUpdateException: Duplicate" /root/tomcat/logs/catalina.out
cat `ls ./*` >> lance.txt
wc -l filename 就是查看文件里有多少行
FS服务器被攻击 数据出现重复时:
1、归集数据
cat `ls ./*` >> lance.txt
2、数据去重
awk '!a[$0]++' lance.txt >> data.txt
3、垃圾数据删除 删除包括有 以下关键字的记录行 删除指定条件的行
SUBSCRIBER_ABSENT
NO_ROUTE_DESTINATION
sed -i -e '/NO_ROUTE_DESTINATION/d' data.txt
sed -i -e '/SUBSCRIBER_ABSENT/d' data.txt
4、统计行数
wc -l data.txt
5、cp 到