项目前景:处理用户提交日志
项目需求:将用户日志处理为报表
项目实现:
1、将用户日志储存在mongodb中(储存性能远远高于mysql)
2、定时批量处理同一类用户日志
数据处理过程分析:
1、在加工报表的过程中,属于非事务过程。只有在用户反馈的时候重新处理该批数据;
2、加工同一类型的报表过程中,具有不具有数据依赖的处理过成采用多线程提高性能;
3、集群处理。
项目前景:处理用户提交日志
项目需求:将用户日志处理为报表
项目实现:
1、将用户日志储存在mongodb中(储存性能远远高于mysql)
2、定时批量处理同一类用户日志
数据处理过程分析:
1、在加工报表的过程中,属于非事务过程。只有在用户反馈的时候重新处理该批数据;
2、加工同一类型的报表过程中,具有不具有数据依赖的处理过成采用多线程提高性能;
3、集群处理。