rails应对大型数据流的一个运用事例

今日学习了WLAN系统的相关大数据处理方案。
总结一下相关的认识和思路：

系统使用双数据库。mysql存储配置数据和对象原始数据、ORACLE存储对象相关的性能数据（性能数据量庞大）
要在上千台AP、AC机器当中采集众多指标数据存如数据库中做实时综合展示，光用ruby是不够的。

整个系统分三部分难点：1、数据的采集；2、数据的汇聚展示、3实时告警

难点一解决方案：
用erlang语言处理数据采集的高并发，分布式采集功能。
数据的采集分配置信息数据和性能数据。
其中配置数据量相对较小可以直接插入到mysql数据库中。
针对性能数据，将采集到的数据分布存储到多个errdb数据文件中。然后用python做二次处理生成对应的数据文件表，定时机制导入ORACLE数据库中。

难点二解决方案：
ruby定义模块，用sql直接做多表逻辑查询、查询结果为数组集合对象。再针对数组对象在页面做展示报表等。
ruby中调用oracle存储过程。

难点三解决方案：
系统从的数据采集实时决定整个系统的实时性，在服务器端采用angix自有的定时crontab定时对数据进行采集、汇集、导入、删除。

报表的定时生成，在lib下定义rake文件中做相关逻辑处理、并调用sql逻辑查询方法，索取数据源。在服务器端采用angix自有的定时crontab定时生成相关一键式报表。

利用ORACLE自有的job定时功能、触发器等处理一些数据库内部数据聚汇。


等待补充。