- 博客(4)
- 收藏
- 关注
RSS订阅原创 朴素贝叶斯的实现
朴素贝叶斯算法是机器学习领域中经典的分类方法之一，它以贝叶斯定理为理论基础，结合 “特征条件独立” 的简化假设，实现了高效且直观的分类决策。尽管其假设看似理想化，但在文本分类、垃圾邮件识别等实际场景中，朴素贝叶斯凭借计算简单、泛化能力强的特点，依然展现出优异的性能。本文将从贝叶斯定理出发，拆解朴素贝叶斯分类器的核心原理，结合 “西瓜分类” 的经典案例，通过代码实现完整还原算法流程，帮助读者理解并掌握这一入门级分类算法的精髓。
2026-01-04 22:23:21
714
原创 决策树剪枝
决策树剪枝是解决模型过拟合的核心技术，通过移除决策树中 “冗余分支”（对泛化性能无贡献的节点），在 “模型复杂度” 与 “预测精度” 之间寻找平衡，最终提升模型在未知数据上的泛化能力。3·最小纯度增益限制：分裂后节点的纯度增益（如信息增益、Gini 系数减少量）小于min_impurity_decrease（如 0.01），不分裂。先训练一棵 “完整且过拟合” 的决策树（不设停止条件，让树充分生长），再从叶节点向根节点反向修剪，移除对泛化性能无贡献的分支。└─ 否（有自己的房子=1）→ 类别：给贷款（1）
2025-11-26 21:08:30
707
原创 决策树及python实现
决策树是一种直观且可解释的监督学习算法，通过对特征的逐步分裂构建树形结构来实现分类或回归。在贷款审批场景中，基于信息增益和信息增益率的决策树模型表现优异，均能实现测试集 100% 准确率，其提炼的 “有房直接贷、无房有工作则贷、无房无工作则不贷” 决策规则贴合业务逻辑。信息增益模型优先选择信息增益高的特征（如 “有自己的房子”“有工作”），信息增益率模型则通过惩罚高取值特征增强泛化能力，二者在本题数据集中结果趋同。
2025-11-12 20:16:11
903
原创 knn算法及实现
k近邻算法（简称为knn算法）是机器学习中的经典算法，预测时计算待预测样本与所有已知样本的距离，取最近的 K 个样本，统计这 K 个样本中占比最高的类别，即为待预测样本类别。关键要选合适 K 值、做特征缩放，常用欧氏或曼哈顿距离衡量相似度。
2025-10-28 21:42:31
359
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人