由一段shell脚本想到的知识

最新推荐文章于 2024-04-24 15:15:43 发布

shushanfx

最新推荐文章于 2024-04-24 15:15:43 发布

阅读量293

点赞数

分类专栏： shell 文章标签： shell 脚本 linux

本文链接：https://blog.csdn.net/shushanfx/article/details/51801111

版权

shell 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

从一个shell脚本开始挖掘

概述

最近上线一个新的功能，需要对比上线前后的系统状况，于是就要分析日志，统计上线前后一个星期的日志情况。日志可以通过hadoop获取，存取到本地之后进行分析，于是写了一个脚本，批量分析日志。

Shell脚本

#!/bin/bash
function getFile(){
    dateStr=$1
    monthStr="${dateStr:0:6}"
    fileName="$dateStr.out"
    if [ -e $fileName ]; then
        rm -rf $fileName
    fi
    hadoop dfs -text /logdata/exvr/resin-oplog/*/${monthStr}/${dateStr}/* | grep "oplog:" > $fileName
}

function readFile1(){
    dateStr=$1
    fileName="$dateStr.out"
    fileOutput="$dateStr.report"
    if [ -e $fileOutput ]; then
        rm -rf $fileOutput
    fi
    cat $fileName | grep "rw=0" | wc -l | awk '{print "type=0\t"$0"\n"}' >> $fileOutput
}

function readFile2(){
    dateStr=$1
    fileName="$dateStr.out"
    fileOutput="$dateStr.report"
    if [ -e $fileOutput ]; then
        rm -rf $fileOutput
    fi
    cat $fileName | grep "type=0" | wc -l | awk '{print "type=0\t"$0"\n"}' >> $fileOutput
}

sepDate='2016-06-28'
num=7
if [ $# -gt 0 ]; then
    num=$1
fi
echo "$sepDate +/- $num days"
seq -$num $num | while read line
do
    if [ $line!="0" ]; then
        curDate=`date -d "$sepDate $line days" +"%Y%m%d"`
        echo "scan $curDate"
        getFile $curDate
        if [ $line -gt 0 ]; then
            readFile2 $curDate
        else
            readFile2 $curDate
        fi
    fi
done;

脚本分析

function（函数）

shell脚本定义函数通过 function定义函数，基本格式为：

[ function ] funname [()]
{
    action;
    [return int;]
}

说明：
1、可以带function fun() 定义，也可以直接fun() 定义,不带任何参数。
2、参数返回，可以显示加：return 返回，如果不加，将以最后一条命令运行结果，作为返回值。 return后跟数值n(0-255。
通过上面可以看出，最简的函数定义方式为：

functionname
{
    action;
}

另外，对于函数内部获取输入参数可以通过$1,$2,$3…，参数个数可以通过$#获取。如果需要遍历所有的输入参数，可以采用如下格式：

while [ $# -gt 0]; 
do
  action;
  shift
done

如上述代码中getFile()、readFile1()、readFile2()，首先通过$1获取输入参数，然后再执行相应的操作。

IF语句

if定义格式如下：

if list then
    action;
elif list then
    action
else
    action
fi

注意：必须要使用fi结尾
注意：else后面没有then语句

if使用样例如下：

if [ -e $fileName ]; then
    rm -rf $fileName
fi

判断某个文件是否存在，如果存在则删除它。

IF紧跟着是条件语句，[ … ];，此处方括号内侧两边必须要行空格，切方括号之后必须紧跟一个分号(;)，这个地方经常被开发者忽略。下面列出一些常用的条件判断语句：

[ -a FILE ] 如果 FILE 存在则为真。
[ -b FILE ] 如果 FILE 存在且是一个块特殊文件则为真。
[ -c FILE ] 如果 FILE 存在且是一个字特殊文件则为真。
[ -d FILE ] 如果 FILE 存在且是一个目录则为真。
[ -e FILE ] 如果 FILE 存在则为真。
[ -f FILE ] 如果 FILE 存在且是一个普通文件则为真。
[ -g FILE ] 如果 FILE 存在且已经设置了SGID则为真。 [ -h FILE ] 如果 FILE 存在且是一个符号连接则为真。
[ -k FILE ] 如果 FILE 存在且已经设置了粘制位则为真。
[ -p FILE ] 如果 FILE 存在且是一个名字管道(F如果O)则为真。
[ -r FILE ] 如果 FILE 存在且是可读的则为真。
[ -s FILE ] 如果 FILE 存在且大小不为0则为真。
[ -t FD ] 如果文件描述符 FD 打开且指向一个终端则为真。
[ -u FILE ] 如果 FILE 存在且设置了SUID (set user ID)则为真。
[ -w FILE ] 如果 FILE 如果 FILE 存在且是可写的则为真。
[ -x FILE ] 如果 FILE 存在且是可执行的则为真。
[ -O FILE ] 如果 FILE 存在且属有效用户ID则为真。
[ -G FILE ] 如果 FILE 存在且属有效用户组则为真。
[ -L FILE ] 如果 FILE 存在且是一个符号连接则为真。
[ -N FILE ] 如果 FILE 存在 and has been mod如果ied since it was last read则为真。
[ -S FILE ] 如果 FILE 存在且是一个套接字则为真。
[ FILE1 -nt FILE2 ] 如果 FILE1 has been changed more recently than FILE2, or 如果 FILE1 exists and FILE2 does not则为真。
[ FILE1 -ot FILE2 ] 如果 FILE1 比 FILE2 要老, 或者 FILE2 存在且 FILE1 不存在则为真。
[ FILE1 -ef FILE2 ] 如果 FILE1 和 FILE2 指向相同的设备和节点号则为真。
[ -o OPTIONNAME ] 如果 shell选项 “OPTIONNAME” 开启则为真。
[ -z STRING ] “STRING” 的长度为零则为真。
[ -n STRING ] or [ STRING ] “STRING” 的长度为非零 non-zero则为真。
[ STRING1 == STRING2 ] 如果2个字符串相同。 “=” may be used instead of “==” for strict POSIX compliance则为真。
[ STRING1 != STRING2 ] 如果字符串不相等则为真。
[ STRING1 < STRING2 ] 如果 “STRING1” sorts before “STRING2” lexicographically in the current locale则为真。
[ STRING1 > STRING2 ] 如果 “STRING1” sorts after “STRING2” lexicographically in the current locale则为真。
[ ARG1 OP ARG2 ] “OP” is one of -eq, -ne, -lt, -le, -gt or -ge. These arithmetic binary operators return true if “ARG1” is equal to, not equal to, less than, less than or equal to, greater than, or greater than or equal to “ARG2”, respectively. “ARG1” and “ARG2” are integers.

如上述脚本，IF语句:

if [ $line -gt 0 ]; then
    readFile2 $curDate
else
    readFile2 $curDate
fi

如果$line的值小于0表示28日以前，按就格式分析日志；大于0表示28日以后，按新格式分析日志。

字符串操作

无论哪一种语言都离不开字符串以及字符串相关的操作。这里介绍一个shell内置的字符操作。

字符拼接 name1=”${name}abc”
字符串长度 ${#string}
子串 ${string:position:length} 其中position从0开始计算
字符串replace
${string/substring/replacement} 只替换一个，如

name=aab; 
echo ${name/a/b}   
#（输出bab）

${string//substring/replacement} 替换所有匹配项，如

name=aab;
echo ${name//a/b}
#（输出bbb）

while read line

while read line其实是管道语句，将管道中每一句内容赋值给line，并执行循环体中的脚本，如

seq 0 10 | while read line
do
   echo $line
done

打印0到10（包括10）。
由此，我们可以整理shell脚本for循环的方式：
1. 如上，seq + while read line；
2. 标准forfor((i=0;i<10;i++));do ... done;，跟我们后端语言的for循环类似;不过要注意使用两个括号，且括号后必须使用分号(;)；如，打印1-10：

for((i=1;i<=10;i++));do
    echo $i;
done

for in语句，for in语句有很多变种，下面只列举其中几个：
i. for in command：

for i in `seq 10`
do
    echo $i
done

ii. for in readvalue,realvalue可以是a b c的形式，也可以是{a..b}的形式:

for i in {0..10}
do
    echo $i
done

while语句：

i=1
while(($i<=10))
do
    echo $i
    let i+=1
done

i=1
while [ $i -lt 10 ]
do
    echo $i
    i=$(($i+1))
done

until语句,util语句的用法跟while的用法类似，均可以使用括号(())和方括号的形式([])。
注意：
- while read line后面不接分号，以及then语句。
- line是一个变量，可以在循环体中访问

参考文献：

function定义：http://www.cnblogs.com/chengmo/archive/2010/10/17/1853356.html
if语句：http://blog.csdn.net/ithomer/article/details/5904632
字符串：http://www.cnblogs.com/chengmo/archive/2010/10/02/1841355.html
shell循环： http://blog.csdn.net/taiyang1987912/article/details/38929069