java处理大数据的一个优化解决方案

     之前和大家提过我们公司现在在做一个手机应用商店的项目,之前测过平均每分钟有2000条请求,每秒就是50左右,现在肯定更多,数据量大的时候每秒有400~500条sql插入操作（记录用户行为,每个请求都会将信息写入log表）,然后我们目前是还没有用hadoop之类的分布式,服务器好像内存是8G,CPU是16核的,这些差不多就是现在的情况,经常导致连接超时,之前也做过一些优化点击查看 大数据优化,今天又优化了下.之前是从配置和服务器层面,这次是代码层面.

    上面我说过每条请求进来我们都会将用户信息插入到数据库,400个同时进来就同时有400条sql插入,一个插入占一个连接,这样很危险的,经常导致连接撑爆,所以我们在这个地方直接起了一个线程,把大量的需要插入的数据放入线程的List里面,然后在线程里面做批量插入操作,这样的情况就是数据量大的时候只用了一个Connection就可以将300 400条数据插入到数据库,节省了大量的连接资源啊！我这个项目除了插入log数据量大之外,还有个Push功能,push广告之类的时候,每秒有1000以上的请求进来,在插入log表的时候还会插入push表,你说这样多伤啊,所以push这块也做了这样的优化操作.

    思路就是上面那样,优化的结果就是,想都不用想,妈妈再也不用担心应用连接数据库会超时了,除非网速坑爹.

    希望以上思路和优化解决方案可以帮助到各位朋友,我们马上也会使用到hadoop,到时候再来和大家分享经验.下面我先给出部分实例代码

1.插入log的线程代码

packagecom.xxx.appstore.util;

importjava.sql.Connection;

importjava.sql.PreparedStatement;

importjava.util.ArrayList;

importjava.util.List;

importorg.slf4j.Logger;

importorg.slf4j.LoggerFactory;

importcom.xxx.appstore.Constants;

importcom.xxx.appstore.UserData;

importcom.xxx.common.util.db.DBUtil;

publicclass InsertLogThread extendsThread{
  

    privatestatic Logger logger = LoggerFactory.getLogger(InsertLogThread.class);

    privatestatic List</