基于分布式服务器缓存和本地缓存的海量数据的系统改造

由于先前系统设计人员缺乏海量数据处理的经验，在前期系统设计时所有的操作都是基于对数据库层次上的操作，在系统规模急剧增大时系统性能完全集中在数据库的瓶颈上。
系统基础数据单表记录每天达到500万到1000万条，每月数据基本都超过2亿条，基于上层的简单计算数据和按各种条件的统计数据种类繁多，都需要通过数据库来取数据进行分析，系统还需要提供实时的数据查询功能，每日各类数据的总和已经超过50G的数据库增长，大量的读写操作使数据库的io一直保持在95%以上，这样web系统的访问速度受影响、而且数据库长期的稳定性也遇到了很大的挑战，而且系统规模还在进一步的增长当中。
由于上面的这些问题，现在对项目进行整改，将采集到的数据写成文件，组织成分布式文件系统，再将各自的文件通过解析放入服务器缓存当中去，与此同时对该数据进行与此相关的统计分析，部属多台服务器缓存做集群，对一定时间范围内的数据进行缓存，分析统计程序本身在本地对各自需要的数据进行一定的缓存，通过服务器机群和双重缓存对系统做负载均衡；尽量减少对数据库的读取，减少对数据库的更新；确保用户访问系统时的速度。
与此同时对数据库进行分库处理，将目前的数据库作为主数据库，同时提供多台数据库服务器对数据分散存储，平常的数据库操作只对分库进行处理；由于系统的特色，数据分库还是比较简单，根据部门的组织关系就可以进行，而且做到随意搭配，使每台分库的数据量基本上保持差不多，但是需要系统分布式数据访问中间件，对所有对数据库访问的应用都是透明的。
由于项目的要求不能将太多的技术原理写出来，只能将大概的思路提供出来，希望对大家有用。