网页搜索几步曲

产出需求→策略评估→策略上线、效果回归→建立监控

 

阶段性调研

1.定义理想态

理想态定义：用户以最低成本找到了想要的东西

核心指标及拆解：什么情况下用户确实得到了满足，以什么指标衡量。

用户没有点击行为，需求可以通过结果摘要得到满足，同时无后续变更搜索词或切换tab行为

用户点击了1条可以满足条件的搜索结果，同时无后续行为

 

2、对不到理想态的情况进行抽样分析

案例：

用户没有点击行为、或点击1条或多条结果，但是没有满足：

a)提示无结果、占比4%→query解析出现问题，未收录合适结果

b）相关性太差、占比11%→query出现问题

点击多条结果才满足：

最佳结果未rank到第一位，占比37%→基础赋权出现问题

变更query重新搜索：

a）原query的解析出现问题、占比28%，

b）原query下的需求扩展不够，占比17%

点击图片/地图tab：

原query有图片、地图需求，query需求识别未包含该需求的分类、占比3%

 

3、优先级判断

阶段性调研之后，产出的分析结论最能代表产品问题全貌，可以有效指导下一阶段的产品计划。

 

效果回归

百度搜索【搜索建议】（sug）的效果回归

项目启动前拆分核心指标

  产品目标：降低用户输入成本

 核心指标：用户输入时间预期降低2s

用户的输入流程：

用户输入效率的影响因素：sug展现的比例，在那个输入长度下展现，是否被用户点击

过程指标：sug展现率、平均输入长度、sug点击率

 

so：（都要在项目启动前）

核心指标：用户输入时间、预期降低2s

过程指标：sug展现率、平均输入长度、sug点击率

观察指标：sug输入query的搜索结果满足度

小流量上线：实验组，对照组各相同百分比的流量

 

系统监控

监控是一种针对相对稳定的产品，通过对数字性指标的手机和观察，自动、实时发现问题的有效手段

监控体系的搭建：

   定义待监控指标：告诉机器要观察哪些指标

   定义报警规则：告诉机器什么时候&如何通知我们

 

定义待监控指标

图片类特型结果的监控体系

白盒部分：

用户搜索，用户点击、翻页：看产品的满足效果

看到结果：看产品覆盖情况

 

满足效果：当用户看到该特性结果时，产生了点击或其他代表满足的行为

监控规则：小时级监控：同比上

覆盖情况：当用户表达图片类需求时，产品展现在搜索结果中

1

按照影响面和影响程度进行分析拍出重要程度优先级

报警规则：小时级监控：同比上周同期波动>50%时，以短信的形式发出报警；

                      天级监控：同比上周同日波动>5%时，以邮件形式报警，波动>20%时，以短信形式发出警告

 

黑盒部分：

需求识别策略：首先识别用户的搜索此是否包含图片需求

检索策略：如果识别为图片需求，开始针对性的在结果库中进行检索

展现策略：将检索到的结果以符合用户需要的样式进行展现

 

需求识别策略

覆盖率=识别图片需求的流量/网页搜索总流量

*图片需求=强需求量+中需求量+弱需求量

小时级监控：同比上周波动>5%时，已短信形式发出报警；同比上周波动周期 >20%时，以电话形式发出报警。

 

检测策略

通过检索结果的质量来衡量

监控指标：相关性打分=每个搜索词对应结果的相关性打分均值

监控规则：小时级监控，同比上周同期波动20%时，以短信形式发出警报，波动50%时，以电话形式发出警报

 

展现策略

监控指标：

小时级监控：同比上周同期波动>5%时，以邮件形式发出报警；同比上周波动>20%时，以短信形式发出报警