![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习笔记
文章平均质量分 92
TrySNew
这个作者很懒,什么都没留下…
展开
-
【机器学习笔记】KNN算法和k-means算法对比
中的。用于分类或回归问题,通常用作分类算法。在处理一个未知样本时,先找出训练集中距离K个已知样本,然后根据这K个已知样本的类别标签来预测测试集样本的类别。在分类问题中,通常选择出现作为预测结果;在回归问题中,则计算这K个临近值的作为预测结果。原创 2024-08-14 16:54:10 · 638 阅读 · 0 评论 -
【机器学习笔记】决策树剪枝
预剪枝:在决策树生成过程中,对每个结点在划分前先进行估计,若当前结点的划分不能带来决策树泛化性能提升,则停止划分并将当前结点标记为叶结点。优点:1.降低了过拟合的风险。2.减少了决策树的训练时间开销和测试时间开销。缺点:1.有欠拟合的风险后剪枝:先从训练集生成一棵完整的决策树,然后自底向上地对非叶结点进行考察,若将该结点对应的子树替换为叶结点能带来决策树泛化性能提升,则将该子树替换为叶结点。优点:1.欠拟合风险很小。2.泛化性能往往优于预剪枝决策树。原创 2024-07-24 21:46:48 · 596 阅读 · 0 评论 -
【机器学习笔记】决策树原理+手算例题
思路:按照某个特征对数据进行划分,这个特征能够最大程度地将原本混乱的结果尽可能划分为有序的几大类,那就以这个特征为跟结点,接着不断重复这一过程直到决策树构建完成。当特征X取值类别较多时,式中的分母也会增大,从而降低了 “偏向取值较多的特征” 这一影响。对比其信息增益,发现是否有自己的房子这一特征,信息增益值最大,所以选择这一特征为根节点。ID3算法的缺点:以信息增益作为划分数据集的特征时,其偏向于选择取值较多的特征。所以构建决策树的实质是对特征进行层次选择,而衡量特征选择的合理性指标,则是熵。原创 2024-07-20 02:34:07 · 757 阅读 · 0 评论