今儿写了点儿代码

今儿完成了两项工作，一个是写了一个准实时抓取线上数据的shell脚本，这个简单，放在crontab里每分钟跑一次，用wget的断点续传功能。另一个是写了一个准实时的将抓取下来的日志解析存入mongodb的php脚本，稍微复杂一些，为了准确性现在只能每小时执行一次。两个脚本均支持指定日期重跑数据。很久不写代码，发现写起来稍微慢一些，经常要查文档，不过准确率很高，基本一次跑通过。

 

顺便说一下mongodb试用情况，将线上登录日志导入mongodb的脚本，瓶颈主要还是在解析日志上，写mongodb的性能没有单独测试。读取的话，线上90天的登录日志解析存入mongodb后大约占了6、7个G，没有建索引，查询一次大约十几秒的时间，不提供线上服务仅仅作为一般的数据统计用足够了。

 

接下来就是要把几个扫日志的程序改为实时的，并且数据源迁到mongodb。