人工智能教程 - 学科基础课程2.6 - 机器学习导论 7.优化算法介绍,多类别分类,过拟合,正则化

优化算法介绍

其实还有一些某些方面比梯度下降更好的算法去拟合参数。

• 共轭梯度法 Conjugate gradien
• BFGS 变尺度算法
• L- BFGS 限制变尺度算法

与梯度下降比较

1. 不需要调学习率
2. 收敛速度往往更快
3. 缺点是更复杂

逻辑回归解决多类别分类问题

multi-class classification problem

one-versus-all 一对多算法

把邮件放到不同的文件夹里或者打上标签
Email folding/tagging: Work, Friends, Family, Hobby

转化为一对余的办法 one versus rest

最后，我们选择一个让h最大的i，即选择子分类器中最大的概率：可信度最高，效果最好

m a x i h θ ( i ) ( x ) \LARGE max_{i}h_{\theta}^{(i)}