awk、sed、grep文本处理(四)

1、备份 一个数据库， 除了其中一个表不备份 ，其他都备份 

#!/bin/bash
db_passwd="a123456"

ds_tables="$(mysql -uroot -p$db_passwd ds_shop -Bse 'show tables' | tail -n 6 | grep -v "ds_wxconfig")"
original_tables="$(mysql -uroot -p$db_passwd ds_shop -Bse 'show tables' | tail -n 6 )"

mysqldump -u root -p$db_passwd ds_shop $ds_tables>/root/shellDir/a/table.sql
echo $ds_tables
echo $original_tables


=================
这里的安全性很差，会报警告。建议去使用my.cnf 免密登录那种。
grep- v 后面 和 前面的ds_shop数据库可转换成动态传参。使其更灵活。本文都是写固定了

 

展示效果：

 

egrep -v "#|\*|--|^$" /root/shellDir/a/table.sql

 

参考： 

https://www.cnblogs.com/cnxy168/p/11644097.html            https://www.cnblogs.com/loongsoft/p/7444768.html

https://www.runoob.com/linux/linux-shell-passing-arguments.html

 

2、sed删空行；一行中，如果包含”11111″，则在”11111″前面插入”AAA”，在”11111″后面插入”BBB”，
比如：将内容为0000111112222的一行改为：0000AAA11111BBB2222。

方法1：
sed 's#\(11111\)#AAA\1BBB#g' input.txt
这种写法使用了“ 前面是分组，后面后向引用 ”。 后面的\1 对应前面的 (11111)

方法2：
sed '/^$/d;s/1111/AAA&/;s/1111/&BBB/' input.txt 

网上的Linux面试题。参考：

https://www.cnblogs.com/bulh/articles/11071783.html

初始化bash

cp -ar /etc/skel/.bash* ~ && exec bash

3、去除文本中的数字

（可以套用其他正则，来达到去除效果，比如去除空格，特殊符号，字母等）

grep -oP [^0-9]+ test.txt


sed 's/[0-9]//g' test.txt

4、用sed 、 awk、grep 筛选日志的时间范围

日志文本：

2020:00:01
2020:00:02
2020:00:03
2020:00:04
2020:00:05
2020:00:06
2020:00:07
2020:00:08
2020:00:09
2020:00:11
2020:00:12
2020:00:13
2020:00:14
2020:00:15
2020:00:16
2020:00:17
2020:00:18
2020:00:19
2020:00:21
2020:00:22
2020:00:23
2020:00:30
2020:00:31
2020:00:40
2020:00:41

处理方法：

切时间05~12  或 10~20的日志
1、
sed -rn '/[0-9]{4}:[0-9]{2}:05/,/[0-9]{4}:[0-9]{2}:12/p' log.txt

2、
awk '{if($0>"2020:00:05"  && $0<="2020:00:12")print$0}'  log.txt
awk '{if($NF>"2020:00:10" && $NF<"2020:00:20")print$NF}' log.txt

3、
sed -n '/2020:00:1[0-9]/,/2020:00:2[0-9]/p' log.txt
（锚定行/1/，/2/是从1开始一直到2结束，找不到就一直文件末尾）


4、grep -oE "[0-9]{4}:[0-9]{2}:1[0-9]" time.txt

参考博客http://www.voidcn.com/article/p-tsvlbfff-bpb.html  

另外一种情况
test.log

[22/Feb/2017-18:51:58]    api.momo.com    /api/feed    HTTP/1.1      121.0.0.1      android1.2
[22/Feb/2017-18:51:59]    api.momo.com    /api/follow    HTTP/1.1      121.0.0.2    iphone1.1
[22/Feb/2017-18:52:58]    api.momo.com    /api/user    HTTP/1.1      121.0.0.3    iphone1.1
[22/Feb/2017-18:52:41]    api.momo.com    /api/feed    HTTP/1.1      121.0.0.4    android1.2
[22/Feb/2017-18:56:30]    api.momo.com    /api/follow    HTTP/1.1      121.0.0.2    android1.2
[22/Feb/2017-18:51:21]    api.momo.com    /api/user    HTTP/1.1      121.0.0.3    iphone1.1
[22/Feb/2017-18:59:58]    api.momo.com    /api/user    HTTP/1.1      121.0.0.3    android1.2
[22/Feb/2017-18:51:21]    api.momo.com    /api/feed    HTTP/1.1      121.0.0.1    iphone1.1


查询22/Feb/2017-18:52:59之前的日志

cat test.log | awk '{split($1,array,"[");split(array[2],array2,"]");if(array2[1] >= "22/Feb/2017-18:52:59"){print($0)}}'

参考博客 https://www.cnblogs.com/ztteng/articles/3112599.html

选定行的范围：逗号

$ sed -n '/test/,/check/p' example                                  -----所有在模板test和check所确定的范围内的行都被打印