linux shell 脚本攻略 下

2019独角兽企业重金招聘Python工程师标准>>>

sed 入门

sed可以替换给定文本中的字符串,当然也可以用正则表试试匹配

sed 's/pattern/replace_string/' file

或者

cat file | sed 's/pattern/replace_string'

使用-i选项,可以讲替换结果应用于原文件

sed -i 's/text/replace/' file

如果要替换所有的的内容,需要在末尾增加g

sed -i 's/pattern/replace/g' file

也可以使用1g 2g 来从第n+1处开始替换

移除空白行

sed '/^$/d' file

其中 ^$ 为行首和行尾 空白行中 行首和行尾是一起的

双引号用来匹配变量

sed "s/$text/Hello"

如果有特殊字符可以使用

sed -i "s#$test#hello#g"

awk

通用语法

awk ' BEGIN { print "start" } pattern { commands } END { print "end" }

file

awk脚本通常由3个部分组成,BENGIN语句块,END语句块,和能够使用模式匹配的通用语句块

awk " BEGIN { statements } {statements} END {end statements }"

例如

awk " BEGIN { i=0 }  { i++ } END { print i } " filename

awk " BEGIN { i=0 } { i++ } end { print i } " filename

如何工作

1.执行 BEGIN { commands } 语句块中的语句

2.从文件或者输入流中读取一行 然后执行 pattern { commands } 重复这个过程

3.到末尾时候,结束 并执行 END 语句

BEGIN 语句 可以 做些 如  变量初始化,打印输出表格的表头等

pattern 语句是主体的命令,如果不不指定,就打印每一个读到的行

简单说就是 while do

比如

echo -e "line1\nline2" | awk ' BEGIN { print "start" } { print } END { print "end" }'

当print参数是以逗号进行分割时,参数打印时则以空格作为定界符,在awk的print中,双引号是被当做拼接操作符使用

echo | awk ' { var1="v1" ;var2="v2" ; print var1,var2;print var1"-"var2;} '

输出

v1 v2

v1-v2

awk的特殊变量

NR :表示记录数量 ,在执行过程中对应于当前的行号

NF : 表示字段数量,在执行过程中对应于当前行的字段数

$0 :包含执行过程中当前行的文本

$1 :包含第一个字段的文本内容

$2:包含第2个字段的文本内容

$n: 包含第n个字段的文本内容

echo -e "line f2 f3 \nline2 f4 f5\nline3 f6 f7"|\
awk ' { print "LINE no:"NR",NO OF FIELDS:"NF,"$0="$0,"$1="$1,"$2="$2,"$3="$3 }'

利用-V选项将外部值传递给awk

var1="var1";var2="var2"
echo | awk ' { print v1,v2 } ' v1=$var1 v2=$var

使用getline读取行

过滤

awk ' NR<5 ' 行号小于5

awk ' NR==1,NR==4 '

awk ' /linux'

awk ' !/linux'

设置字段定界符

awk -F: ' print $NF ' /etc/passwd

或者

awk ' BEGIN { FS=":" } { print $NF } ' /etc/passwd

awk 内置函数

length(String)

index(String,search_string) 返回search_sring在字符串中出现的位置

split(String,array,delimiter) 用定界符生成一个字符串列表并将该列表存入数组

substr(String,start,end) 生成子串

sub(regex,replacement,stirng)

match(regex,string) 检查正则表达式是否能够匹配

打印从M行到N行

awk ' NR==M,NR==N' filename

打印正则表达式直接的

awk ' /start_parttern/./end_parttern/' filename

wget

wget url1 url2

可以使用选项 -O 指定输出的文件名

可以使用-o 指定日志文件

可以使用 -t 指定重试次数

if [ $# = 3 ] 参数为3个

lynx -traversal url 会生成一个reject.dat文件 包含此url的所有链接

tar

归档

tar -cf output.tar [SOURCE]

向归档中添加文件

tar -rvf test.tar new_file

列出归档内容

tar -tf archive.tar

压缩的时候排除文件

tar --exclude-vcs -czvvf source_code.tar.gz eye_of_gnone_svn

gzip -l test.tar.gz  列出属性信息

netstat -tnp 列出开放的端口

列出占用cpu最高的10个进程

ps -eo comm,pcpu --sort -pcpu | head

ps -eLf  --sort -nlwp | head

列出线程数最多的10个进程

操作mysql 可以需要安装 mysql-server 和mysql-client

可以安装ImageMagick 用来缩放图片 转换格式等

这两天吸收了很多,调整了很多思路,很多可以再以前和以后的代码中用到,基本系统的学习了shell,提供了很多思路

转载于:https://my.oschina.net/duplicatedcode/blog/137874