目录
2. 模型训练为什么要引入偏差(bias)和方差(variance)？ 证
3. CRF/朴素贝叶斯/EM/最大熵模型/马尔科夫随机场/混合高斯模型
5. One-hot的作用是什么？为什么不直接使用数字作为表示
19. xgboost对比gbdt/boosting Tree有了哪些方向上的优化
1. 写出全概率公式&贝叶斯公式
2. 模型训练为什么要引入偏差(bias)和方差(variance)？ 证
机器学习中有两个主要的误差来源：偏差和方差。
假设你的算法在训练集上的错误率是15%，在开发集上的错误率是16%，那么这16%的错误率分两部分：
第一部分是算法在错误集上的错误率，本例子中为15%，我们叫算法的偏差；
第二部分是算法在开发集（或测试集）上的表现比训练集上差多少，本例子中开发集比训练集差1%，我们叫算法的方差。
如果你的算法表现如下：
训练集错误率=1%
开发集错误率 = 11%
虽然它的训练误差非常低（1%）,但是它有一个高方差（11%-1%），并没有成功地泛化到开发集上，发生了过拟合。
接下来，考虑另一种情况
训练集错误率=15%
开发集错误率=16%
此时偏差为15%，方差为1%，没有很好地拟合训练集，但训练集与开发集误差相近，我们称该算法是欠拟合的。
下面，再考虑如下情况:
训练集错误率 = 15%
开发集错误率 = 30%
偏差15%，方差15%，在训练集上表现的差，在开发集上表现的更差，该分类器同时存在欠拟合和过拟合。
最后考虑如下情况：
训练集错误率 =0.5%
开发集错误率 = 1%
该分类器效果很好，它具有低偏差和低方差，只有一个分类器同时存在低偏差和低方差时才会获得很好地性能。
1499
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
