大型互联网流量统计之简易架构

        一、采集端

                1、概述：收集所有需要统计的指标，录入文件或数据库。收集端的数据，是最原始的数据。

                2、方式：（1）、可通过Servlet的Filter程序，生成详细的日志文件，即原始数据。

                        （2）、可用javascript的方式，获取数据。

        二、分析端

                1、概述：分析原始数据，可根据不同的栏目、不同的指标，生成新的文件。剩余的所有引申指标，只需要在这些新的文件内分析，即可。亦可用这些新文件，重跑某一时段的数据。

                2、实现：（1）、处理文件时，可用多线程处理。

                        （2）、基本指标的分析，可同时进行；依赖于基本指标的引申指标，则需要延后。

                        （3）、入库时，可在分析文件时，先批量生成所有的SQL脚本，再统一执行。

        三、显示端

                概述：有些复杂的引申指标，需要不同数据库的数据联合计算，此一功能，需要显示端完成。