![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
alexmiaomiao
这个作者很懒,什么都没留下…
展开
-
KD树与决策树
KD树是提高K近邻法计算效率的一种手段,类似二叉查找树。不过二叉查找树中的数据是一维的,而K近邻的训练样本往往是多维的。所以,在建树的过程中,需要进行特征维度的选择。合理的方式是,每轮递归选择方差最大的特征S作为区分标准,以S的中位数作为根节点。这样能保证寻找最近邻的快速性,构建出均衡的二叉树。 决策树是一种可以直接用来分类的树形结构,这是和KD树单单是为了快速找到最近邻的最大不同。决策树的特征原创 2017-03-09 17:13:13 · 1547 阅读 · 0 评论 -
PCA方法与Fisher准则
PCA方法是一种简单的线性降维(特征提取)方法,这里不讨论其数学推导。基本步骤如下: 1)计算样本集合X(D维)的均值矢量mu和协方差矩阵sigma; 2)计算sigma的特征值和特征矢量,按特征值降序排列; 3)选择前d个特征矢量构成矩阵E; 4)D维的矢量x可以转换为d维的矢量x’:x’ = ET(x - mu)。 PCA方法等价于在原特征空间里建立了一个新坐标系,该坐标系的原创 2017-03-12 00:05:31 · 3357 阅读 · 2 评论 -
SVM的对偶问题与核方法
支持向量机(SVM)算法里,常常利用拉格朗日对偶性将原始问题转化为对偶问题来求解。对偶问题通过优化拉格朗日乘子矢量α来间接得到权值矢量ω,因此与样本的特征维数d无关;并且,训练样本以任意两个矢量内积的形式出现,而不必知道每一维的具体特征。这两个特点是引入核方法的基础。 核方法的实质是将d维的输入空间映射到r维的特征空间(r > d)。这样,原来低维里线性不可分的训练样本,在高维里可能用一个超平面原创 2017-03-13 16:34:27 · 1374 阅读 · 0 评论