需求背景,服务端存储app端用户视频播放历史记录。
日活跃用户三百万,增长用户播放指标每天20w,召回用户指标每天20w,每个用户存储上限250条数据,每天数据大小340B,按照腾讯视频,爱奇艺视频,十秒同步一次播放进度。
按照上面指标,qps过十万妥妥的,虽然之前有日数据千万的经验,和上面这个比小巫见大巫,并未有过这个量的经验,刚开始设定并未考虑用户增量和用户召回量,刚开始技术选型是mongodb或者Es,但是会议讨论是直接被pass,按照这个量需要选用hbase或者cassandra,国门用hbase的多,至于mongodb或者es为啥不能承受这么大的量,我有点懵懂,因为没这个经验。
因为团队技术能力问题,一旦需求需要做下去,则需要买服务,付出代价大,收益有限,还需要估算大概费用,在计划做不做,如果做,选用hbase选用维度存储数据,是根据用户id为主键,存储大的json,还是以用户id,剧集id,集id,为主键,我需熟悉hbase,如果选用第二种方案,我需要查文档根据用户id,是否能查出数据列表,至于后续如何,下周会同步更新。
ps:预算太高,不做了