作者:ggzheng 郑耀明
编辑:mavisxlmeng 蒙雪莲
随着业务的快速发展,现有的各种商业日志系统都已无法满足微保复杂的数据采集与统计需求。于是我们自研了一套微保全自动数据上报系统(WADRS) (Wesure Automatic Data Reporting System),不但为数据驱动增长模式提供了强大的支撑,同时也极大的节约了时间与人力,带来巨大的效益。本文主要聚焦于数据采集相关的技术方案介绍,其余关于数据存储、分析等部分与大多数大数据分析系统并无太大的特异性,因此不赘述
1
背景
好保险,放心买!这是微保对用户永恒不变的承诺!
除了为用户精心挑选好保险产品外,极致的互联网端产品体验也是我们追求的目标。
提升用户体验最重要的有几个方面:视觉设计、交互设计、客户端性能、服务端性能、客户端兼容性等等。产品、设计、技术同学都持续不断为此目标努力着。如何客观衡量各种优化的效果及用户的满意度呢?这不能靠感觉,需要大量的数据来证明,因此我们需要一套强大的日志系统,将真实用户的操作数据上报到服务器端进行分析,为各种产品决策及体验优化提供数据支持。
2
需求分析
综合分析微保自身需求,一个完善的日志上报系统应该满足以下要求:
数据安全性,对于金融业务而言,数据安全是我们的生命线。
大数据支持,以满足快速发展的业务需求。
拥有原始日志数据,以支持各种复杂的统计需求。
实时计算,以快速发现问题及支持业务决策。
指标丰富,上报的指标应该尽量丰富,以便于服务端未来的统计分析需求做各种可能的扩展。
高效性,最好无需开发人员经常性支持,将其从枯燥重复的埋点工作中解放出来。
支持各种客户端,小程序,H5,APP等。
这是一项艰巨的挑战,要同时满足这些要求几乎是不可能完成的任务!我们先调研了目前市场上的几种方案:
小程序官方日志系统
这是第一考虑的方案,优点是官方支持,稳定性及安全性有保障。但遗憾的是无法取得原始日志数据,在实时性及高效性上也无法满足我们的要求。所以只能遗憾放弃