shell脚本nginx日志解析入库

#!/bin/sh


#获取nigin日志
log_path='/usr/local/nginx/logs/access.log'


cat $log_path | while read line
do


#判断该条信息是否为我们需要
if [[ $line == *'eleId='* ]]
then
    #替换中=和&的转译符
$line=${line//'%3D'/'='}
$line=${line//'%2'/'&'}


echo ${line}


OLD_IFS="$IFS" 
IFS="|" 


arr=($line) 
IFS="$OLD_IFS"


#日期转换
dateTime=${arr[1]//'/'/' '}
dateTime=${dateTime/':'/' '}
dateTime=`date -d "$dateTime" +"%F %T"`


#解析参数
                  param=${arr[2]#*'?'}
param=${param%' '*}




#分割参数
OLD_IFS="$IFS" 
IFS="=" 
paramArr=(${param}) 
IFS="$OLD_IFS" 

#获取uuid
uuid=$(cat /proc/sys/kernel/random/uuid)
uuid=${uuid//'-'/''}


eleId=${paramArr[1]%%'&'*}
type=${paramArr[3]%%'&'*}
page=${paramArr[4]%%'&'*}




#拿掉第一個' '及其左邊的字串
accurl="${arr[5]}${arr[2]#*' '}"
accurl=${accurl%%'?'*}
#拿掉第一條 / 及其右邊的字串
                
# accurl=${arr[4]%%'?'*}


# echo '---------------------------'${accurl}
       
#ip计算转换
      #ip= ${arr[0]}


#ip=ip2int "192.168.1.1"
#echo '--------------------'$ip2


    mysql -h120.76.xxx.xxx -uxxx -pxxx -e"insert into goldminedb.visit_0 values ('$uuid','$eleId',INET_ATON('"${arr[0]}"'),$type,'$dateTime','$accurl','$page');"




fi


done