推荐系统实验方法

为什么80%的码农都做不了架构师？>>>   

1.离线实验2.用户调查3.在线实验

离线实验：（这也是我现在的工作）

步骤：1）通过日志系统获得用户行为数据，并按照一定格式生成一个标准的数据集。

2）将数据集按照一定的规则分成训练及和测试集。

3）在训练集上训练用户兴趣模型，在测试集上进行预测。

4）通过事先定义的离线指标评测算法在测试集上的预测结果。

优缺点：

优点：1.不需要有对实际系统的控制权。（确实）2.不需要用户参与实验。3.速度快，可以测试大量算法。

缺点：1.无法计算商业上关心的指标（点击率，转化率等，日志分析是另一个帅气的小伙在干，好感兴趣～～）2.离线实验的指标和商业指标存在差距。

用户调查

高准确率不等于高用户满意度。

最好的方法是将算法上线测试，直接上线有风险，需经过用户调查测试。

用户调查需要有一些真实用户。测试用户要与真实用户的分布相同，比如男女，年龄，活跃度等等。用户调查要尽量满足“双盲”，即实验人员和用户都不知道测试目的。

优点：可以获得很多用户主观感受的指标，比在线实验风险低，错误容易弥补。

缺点：成本高，如果测试人员不够多，很可能数据无意义，双盲实验设计很困难，测试环境下的数据和真实有一定不同。

在线实验

完成上述两个，可以上线做AB测试，与旧算法比较。AB算法见www.abtests.com 。

这个离我还很远，先搁置，不浪费时间。

转载于:https://my.oschina.net/luan/blog/76430