海量处理用户日志(一)

项目前景:处理用户提交日志

项目需求:将用户日志处理为报表

项目实现:

1、将用户日志储存在mongodb中(储存性能远远高于mysql)

        2、定时批量处理同一类用户日志

数据处理过程分析:

1、在加工报表的过程中,属于非事务过程。只有在用户反馈的时候重新处理该批数据;

2、加工同一类型的报表过程中,具有不具有数据依赖的处理过成采用多线程提高性能;

        3、集群处理。

         

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值