- 博客(7)
- 收藏
- 关注
RSS订阅原创 主成分分析（PCA）原理详解
在图中，左边的投影明显比右边的投影具有更大的方差（即投影点更分散），因此左边的投影是更好的选择。这是因为较大的方差意味着投影后的数据保留了更多的原始信号信息，而较小的方差则可能意味着更多的噪声被包含在内。信噪比（SNR）是一个重要的度量，它表示信号与噪声的方差之比，并且这个比值越大，说明信号的质量越好，噪声的影响越小。综上所述，当我们将n维样本点转换为k维特征时，我们希望找到一组方向向量（即k个主成分），使得样本点在这些方向上的投影具有尽可能大的方差，从而最大限度地保留原始信号的信息并减少噪声的影响。
2024-06-18 16:32:45
2003
原创 支持向量机
支持向量机（support vector machine，SVM）是有监督学习中最有影响力的机器学习算法之一，该算法的诞生可追溯至上世纪 60 年代， 前苏联学者 Vapnik 在解决模式识别问题时提出这种算法模型，此后经过几十年的发展直至 1995 年， SVM 算法才真正的完善起来，其典型应用是解决手写字符识别问题。SVM 是一种非常优雅的算法，有着非常完善的数学理论基础，其预测效果，在众多机器学习模型中“出类拔萃”。在深度学习没有普及之前，“支持向量机”可以称的上是传统机器学习中的“霸主”。
2024-06-11 17:13:06
1752
原创 机器学习--逻辑回归
在逻辑回归中，我们通常使用对数似然函数作为目标函数，因为它度量了模型参数与训练数据的匹配程度。对数似然函数越大，模型参数越合理。Logistic回归优点：计算成本相对较低，效率较高。输出结果介于0和1之间，可以表示概率，易于解释。适用于二分类问题，模型简单直观，易于理解和实现。缺点：对非线性问题的分类效果可能不理想，容易欠拟合。对特征之间的相关性敏感，可能导致过拟合。分类精度可能不如一些更复杂的模型，如支持向量机或随机森林。
2024-05-28 17:30:30
721
原创 机器学习——贝叶斯分类
然而，它也有一个明显的局限性，就是对特征条件独立的假设在实际问题中并不总是成立，因此在面对高维度、相关性较强的数据时，朴素贝叶斯分类器可能表现不佳。具体地，设特征向量为 X = (x1, x2, ..., xn)，类别集合为 C = {c1, c2, ..., ck}，我们的目标是计算在给定特征向量 X 的条件下，属于每个类别的概率 P(ci|X)，然后选择具有最大后验概率的类别作为样本的分类结果。基于上述假设，我们可以计算出每个类别的后验概率，并选择具有最大概率的类别作为样本的分类结果。
2024-05-28 17:07:08
760
原创 决策树模型
决策树是一种树形结构，其中每个内部节点表示一个属性上的测试，每个分支代表一个测试输出，每个叶子节点代表一种类别。树的组成：（如下图示，来源百度，只做结构演示说明）根节点：第一个选择点非叶子结点与分支：中间过程叶子节点：最终的决策结果决策树是一树状结构，它的每一个叶节点对应着一个分类，非叶节点对应着在某个属性上的划分，根据样本在该属性上的不同取值将其划分成若干个子集。对于非纯的叶节点，多数类的标号给出到达这个节点的样本所属的类。构造决策树的核心问题是在每一步如何选择适当的属性对样本做拆分。
2024-04-30 17:16:00
546
原创 机器学习 ：模型评估
模型评估在机器学习和人工智能领域扮演着至关重要的角色。模型评估是确保机器学习模型在实际应用中有效、可靠且符合预期的关键步骤。它不仅帮助开发者理解和改进模型,还为最终用户提供了信心和保证。在模型开发的整个生命周期中,持续和全面的评估对于实现高质量的AI解决方案至关重要。
2024-04-16 19:58:31
476
原创 KNN算法
但是，它也有明显的缺点：算法的估计误差比较大，预测结果会对近邻点十分敏感，也就是说，如果近邻点是噪声点的话，预测就会出错。比如我们的输入样本是图中的蓝色，那么k个近邻就是距离绿色小圆最近的k个邻居，然后在这k个邻居中，若黑色小圆的数量多于红色小圆，那么输入样本的属性就与蓝黑色小圆相同，反之则与红色小圆的属性相同，这就是k-近邻算法的算法思想。但是缺点也十分明显：算法的近邻误差会偏大，距离较远的点（与预测实例不相似）也会同样对预测结果产生影响，使得预测结果产生较大偏差，此时模型容易发生 欠拟合。
2024-04-02 18:42:48
1689
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人