weixin_42077402的博客

初学机器学习和深度学习的时候，我们常常会遇到 "过拟合" 和 ''欠拟合" 这两个看似不明所以的数学概念，今天我就专门讲一讲它们具体是怎么一回事。拟合(fitting)要理解过拟合和欠拟合，我们首先要明白什么是 "拟合"。通俗来讲，当我们想要了解平面中样本点所具有的统一规律时，或者说通过一条怎样的光滑曲线可以更贴切地描述黄色样本点时，拟合就是我们要使用的手段或方法。如上面中间图所示，我...

今天来回顾一下一种很古老，又很好理解的机器学习算法--决策树算法，英文名叫Decision Tree。简介决策树是一种基本的分类与回归方法，表明它既可以做分类算法，也可以作为回归算法，同时也特别适合集成学习（比如随机森林）。构建决策树本质上是一个递归的过程。通常是一个递归地选择最有特征，并根据该特征对训练数据进行分割，使得对各个子数据集有一个最好的分类的过程。在分类问题中，它表示基...

相比较于分类和回归问题的算法，聚类算法因为是没有目标的（计算机需要自己定义类别），所以准确度就没那么高，大家对它的期待就不太高，但它确实是有用的，一般作为有监督学习的辅助算法存在（有时候作为监督学习中稀疏特征的预处理）。下面我就将自己学到的聚类的相关内容分享一下。----------------------------------------------------------------...

朴素贝叶斯应该是机器学习领域最简单的一种算法，但这只是在数学层面的"简单"。如果要深挖下去，考虑先验概率和后验概率，用的不顺溜的话也特别复杂。为什么说它 "朴素" 呢？因为它有两个先决条件（或限制条件）：条件(特征)独立假设：一个特征出现的概率，与其他特征（条件）独立。（真实应用中是不可能独立的） 特征均等假设：每个特征同等重要。（真实应用中是不可能均等的）注：就像最大熵模型一样，...

今天我们就来详细了解一下 "交叉验证" 这个概念！首先来看一下，什么是交叉验证？交叉验证，是我们在学习机器学习建模中经常能遇到的一种方法。顾名思义，它就是通过"交叉" （将原始数据拆分成多种不同数据组合）的方式对模型对象进行 "验证" （精确度评估：损失函数，方差，偏差）的处理工具。交叉验证(Cross-validation)主要用于建模应用中，例如PCR 、PLS 回归建模中。在给...