搭建指标体系的方法论有很多,本期我们会结合GSM、OSM方法的理念来梳理指标,再结合搜索核心关注的分析维度,搭建出搜索指标体系。针对不同的使用对象,可以抽取设计出不同的数据产品以满足需求。
01 GSM(Goals,Signals,Metrics)方法
GSM是Google提出的一种自上而下度量用户行为的方法,通常用于衡量产品优劣程度:
- G目标:明确设计的目标是什么?用户目标是什么?
- S信号:当达到对应用户目标时,用户会做出哪些行为?
- M指标:根据用户反馈的信号设计对应指标。
e.g.在电商场景下,从用户视角看,用户进入首页后发起搜索:
- 用户的目标G就是快速找到自己满意的商品并完成下单;
- 那么用户会发出一系列的信号S,即用户的行为轨迹流程:
- 打开电商APP,点击搜索框,输入query
- 用户浏览系统返回的结果,发现感兴趣的商品点击详情页浏览(也可能没有满意的商品再次发起搜索)
- 在浏览一系列商品后,找到合适的商品,加入购物车/下单完成支付
- 完成消费,离开APP
我们就针对这些S来设计在整体目标G之下,拆解到每个S可以衡量其目标的指标M。
以下给大家实际拆解一下每个环节的指标
1. 打开电商APP,点击搜索框,输入query
在这个环节,我们希望有更多的用户可以发起搜索请求,指标设计需能够最直观反应搜索功能使用情况。
一般衡量指标有:
- 搜索量PV
- 搜索用户量UV
- 人均搜索量PV/UV
- 搜索渗透率(UV/大盘DAU)
也是我们常说的流量类指标,适用于日常的大盘监控
2. 用户浏览系统返回的结果,发现感兴趣的商品点击详情页浏览
在这个环节,用户搜索query后,肯定希望有结果返回,且返回的结果是自己想要的,并且能够快速找到自己感兴趣的内容,指标设计需反应出搜索后用户的消费情况与查找效率。
一般衡量指标有:
- 搜索点击量PV
- 搜索点击量UV
- 人均搜索点击量
- 搜索结果点击率CTR(点击量PV/曝光PV)
- 有点比(有点击的query/所有query)
- 首次点击位置
- 搜索到首次点击时长
- 换query率
- 搜索无结果率
- 搜索少结果率
3. 在浏览一系列商品后,找到合适的商品,加入购物车/下单完成支付
在这个环节,用户希望能够快速完成交易,和其他场景下的下单支付并无多大区别,指标设计核心关注搜索场景带来的GMV贡献。
一般衡量指标有:
- 搜索GMV及占比
- 搜索ARPU(搜索GMV/搜索UV)
- 下单转化率
- 支付转化率
4. 完成消费,离开APP
在这个环节,用户离开APP有两种情况,一种是搜索后没有满意的结果直接跳出,另一种是完成服务后离开,离开后是否还会回来取决于APP的定位及粘性。
一般衡量指标有:
- 搜索跳出率(搜索后没有任何点击操作就退出了)
- N日留存率
通过以上过程,我们梳理了用户视角下的行为流程对应的指标。
当然这个方法还有另外一个视角,就是从系统/公司/平台的角度看,这里的信号S对应的行为流程就完全不一样了。
对于系统而言,我们的目标肯定是希望更高效率地解决用户的问题。
当用户发起搜索,系统会经历一系列处理过程:
- query预处理(拼音转文字、纠错、同义词转换等)
- 意图识别(搜索迪奥999,识别发现用户搜索的是美妆类目)
- 召回
- 排序
最终我们针对以上过程设计指标,用以反映我们的算法与策略的性能与优劣。这块策略类指标在本期不展开,后面有机会再给大家分享。
02 OSM(Object,Strategy,Measure)方法
了解了GSM梳理指标的方法,这里再给大家介绍一种OSM方法,实际工作过程中,也是会综合采用不同方法梳理不同维度的指标,让我们的指标体系更加完整。
OSM方法也是从目标出发梳理指标,与GSM不同的是,GSM更多是从业务流程的链路出发梳理指标,OSM则可以帮助我们从运营/策略的角度梳理不同链路的指标。
OSM是一套业务分析框架:
- O业务目标:确定当前业务/产品/项目的核心目标是什么
- S业务策略:为了达成上述目标财务的业务策略是什么
- M业务度量:针对业务策略S,为了衡量策略的有效性而设计的数据指标
e.g.在目标上,和推荐场景不同,搜索的用户是带有明确的需求的,用户自然希望能够最快获得自己想要的结果。那么我们的目标O希望能够提升用户搜索的效率,从用户搜索行为的前中后,我们分布设计了不同的策略S:
- 搜索前:搜索推荐(在首页搜索框内有搜索推荐词,可以点击搜索直接发起搜索)
- 搜索中:搜索sug缩短用户输入的时间、搜索历史让用户快速发起搜索、搜索发现给用户搜索建议
- 搜索后:通过算法提高结果与query的匹配度,同时当结果类型较多的时候,设置锚点tab让用户可以快速定位到自己想要的内容页
指标M设计应体现出策略对于实现目标的有效性。
此次策略中设计指标有:
不同策略的PV/UV(有没有人用):
- sug点击量PV、sug点击UV
- 搜索历史点击量PV、搜索历史点击量UV
- 搜索发现点击量PV、搜索发现点击量UV
- 锚点tab点击量PV、锚点tab点击量UV
策略有效性(有没有用):
- 首次点击位置
- 首位点击次数
- 搜索时长
- 搜索到首点时长
- 搜索点击率CTR
- 有点比
此方法也同样适用于设计监控一次运营活动、一次产品迭代效果的指标体系。通过设定清晰的目标,制定达成目标的策略,梳理对应策略的衡量指标来搭建指标体系。
03 搜索关注分析维度
通过以上指标的梳理,我们已经可以基本了解当前搜索业务的情况了。但是光看指标总量是不够的,总量是一个最终统计值,没有实际行动指导意义,需要和维度相结合,当发现问题时可以快速定位问题制定解决方案,同时也有一些维度是搜索核心关注的。
常见搜索的分析维度有:
- 用户类:
新老用户:这是所有场景都非常关注的维度
用户活跃度:高活跃用户、中活跃用户、低活跃用户(一般通过规则界定,需结合自己公司的实际情况来定)
登录状态:游客/注册用户/登录用户
性别、年龄段、地区等用户基础属性
其他用户维度……
- 物品类:
搜索query:看用户对平台哪些内容更感兴趣,很重要的维度,做搜索优化时需要对query进行分析
搜索品类:美食/美妆/3C/家电等
其他物品维度……
- 时间维度:也是很重要的维度,看增长趋势
日/周/月
周末/节假日/寒暑假
- 搜索类型:
搜索方式:主动搜索、搜索历史、推荐搜索、相似搜索、sug搜索
具体需要哪些维度可以结合公司的业务来定。