问6:如果我们正在测试产品X,你会考虑采用哪些指标来判断它是否成功?
决定一个产品成功的指标取决于商业模式以及企业通过产品实现的目标。《精益分析》一书提出了一个很好的框架,可以用来确定在给定场景中要使用的指标:
问7:如果某项目经理说他们想使Newsfeed中的广告数量翻一番,你如何确定这是一个好主意?
你可以通过将用户分为两组来执行A / B测试:具有正常广告数量的对照组和具有两倍广告数量的测试组。然后,你将选择度量标准来定义什么是“好主意”。例如,我们可以说原假设是广告数量翻一番会减少在Facebook上花费的时间,另一种假设是广告数量翻一番不会对在Facebook上花费的时间产生任何影响。但是,你可以选择其他指标,例如活跃用户数或客户流失率。然后,你将进行检验并确定检验的统计显著性,以拒绝或不拒绝原假设。
问8:什么是提升力、KPI、稳健性、模型拟合、实验设计、80/20规则?
提升力:提升力是一种针对随机选择目标模型的目标模型性能的衡量指标;换句话说,l提升力告诉你,模型在预测事物方面比没有模型时要好得多。
KPI:代表关键绩效指标,该指标是可衡量的指标,用于确定公司实现其业务目标的程度。例如错误率。
稳健性:通常,稳健性是指系统处理可变性并保持有效性的能力。
模型拟合:指模型对一组观测值的拟合程度。
实验设计:也称为DOE,它是旨在描述和解释在假设能够反映变量的条件下信息变化的任何任务的设计。[4]本质上,一项实验旨在基于一个或多个输入(自变量)的变化来预测结果。
80/20规则:也称为帕累托原理;指出80%的影响来自20%的原因。例如80%的销售额来自20%的客户。
问9:定义质量保证、六个sigma。
质量保证:旨在通过最大限度地减少错误和缺陷来保持所期望的质量水平的一项活动或一系列活动。
六个sigma:一种特定类型的质量保证方法,由一套用于流程改进的技术和工具组成。6 个sigma流程是其中所有结果的99.99966%没有缺陷的流程。