这篇博客探讨了在机器学习中的线性判别和二次判别分析，重点关注了收缩和协方差估计在样本数量小于特征数量情况下的作用。收缩作为正则化形式，能提升分类器的泛化性能。文章介绍了如何在sklearn中利用Ledoit-Wolf收缩来改善LDA，并讨论了不同求解器如‘svd’、‘lsqr’和‘eigen’的适用场景和优缺点。此外，还提到了其他协方差估计器的选择及其对分类准确性的影响。
学习笔记，仅供参考，有错必究
文章目录
线性判别和二次判别分析
收缩和协方差估计
收缩是一种正则化形式，用于在训练样本数量比特征数量少的情况下改善协方差矩阵的估计。
在这种情况下，经验样本协方差是一个较差的估计量，收缩有助于提高分类器的泛化性能。通过将LinearDiscriminantAnalysis类的 shrinkage 参数设置为'auto'，可以使用收缩LDA。这将按照Ledoit和Wolf引入的引理以解析方式，自动确定最佳收缩参数。请注意，当前收缩仅在将solver参数设置为'lsqr'或'eigen'时有效。
订阅专栏 解锁全文
429
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
