经过一周的修改,终于把各个部分分离开了,达到各个部分基本上可以独自运行的目的,解决一些耦合的东东。
下载,解压缩,检测解压缩的文件(含有报警),解析文件,入库,检测入库(报警),执行存储过程生成一级数据。
分为以上这几个步骤。
具体的见附件~~~
这里没有删除解压缩的文件,需要另外写脚本定时删除,否则积累到一定的时间之后,磁盘空间会被占满,最后导致统计失败~~
并不包含数据库表结构以及存储过程,因为仅仅有如下脚本还无法进行统计,这个需要和具体的业务相关,当然写awk脚本进行解析日志的时候也是需要和具体的业务相关的~
2009。7.2号修改了一下里面的下载以及解压缩部分,主要是使该段代码支持pv或click不是在同一台服务器上的情况。
下载,解压缩,检测解压缩的文件(含有报警),解析文件,入库,检测入库(报警),执行存储过程生成一级数据。
分为以上这几个步骤。
具体的见附件~~~
这里没有删除解压缩的文件,需要另外写脚本定时删除,否则积累到一定的时间之后,磁盘空间会被占满,最后导致统计失败~~
并不包含数据库表结构以及存储过程,因为仅仅有如下脚本还无法进行统计,这个需要和具体的业务相关,当然写awk脚本进行解析日志的时候也是需要和具体的业务相关的~
2009。7.2号修改了一下里面的下载以及解压缩部分,主要是使该段代码支持pv或click不是在同一台服务器上的情况。