![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
Womeng_qin
这个作者很懒,什么都没留下…
展开
-
降维第一炮--多维缩放 MDS
多维缩放:要求原始空间中样本之间的距离在低维空间中得以保持推倒多为缩放:m个样本每个样本 d 个属性----降维到----m个样本 d’ 个属性 (d’ <= d)假定 m 个样本在原始空间的距离矩阵为 D(m*m), distij 为样本 xi 到 xj 的距离降维后的距离矩阵 B(m*m) ,bij 表示样本 zi 到 zj 的距离,bij = || zi - zj || (两样本向量的差的模再取绝对值)(欧氏距离)由于距离要在高低维空间中一致,有 distij=原创 2020-05-30 11:16:56 · 235 阅读 · 0 评论 -
机器学习笔记十-- 由kNN引入维度灾难并进行降维改善
专业词汇k 近邻(k-Nearest Neighbor)密采样" (dense sample)维数灾难 (curse of dimensionality)降维(dimension red uction)"子空间" (subspace)"多维缩放" (Multiple Dimensional Scaling)kNNk近邻学习概述超参数:k的选则监督学习方法给定测试样本–>(基于某种距离度量)最靠近这个样本的 k 个训练样本,然后基于这 k 个"邻居"的信息来进行预测分类任务中原创 2020-05-30 09:58:33 · 1641 阅读 · 1 评论 -
机器学习多次修补后笔记 --集成学习--boosting--AdaBoost
1、AdaBoost第1行:D 代表样本集,Dt 代表第 t 轮的样本分布,不同的 Dt 中样本的权值不同第3行:根据 Dt 分布在样本集 D 上用基学习算法 L 训练出基分类器 ht第4行:第 t 个学习器的误差第6行:由第 t 个学习器的误差来计算它在最后集成学习器中的权重第7行:根据该-学习器的权重-来更新样本权值,形成新的样本权值分布D(t+1)最终集成的学习器:基学习器的线性组合目标函数:min(损失函数)...原创 2020-05-28 10:46:38 · 176 阅读 · 0 评论 -
机器学习多次修补后笔记 --集成学习概述
专业词汇集成学习 (ensemble learning)多分类器系统(multi-classifier system)基于委员会的学 习 (committee-based learning) "个体学习 器" (individual learner)"同质" 的(homogeneous)"基学习器" (base learner),"基学习算法" (base learning algorithm)."异 质"的(heterogenous)"组件 学习器" (component learner原创 2020-05-27 20:32:58 · 117 阅读 · 0 评论 -
机器学习多次修补后笔记--支持向量机
文章目录专业词汇内容概括物理含义数学原理推导**点x**到**超平面**的距离支持向量机间隔支持向量目标函数目标函数求解关于对偶函数中拉格朗日乘子的解释工程层面实现算法SMO核函数核函数的引入核函数是否存在以及常用的和核函数软间隔与正则化软间隔&硬间隔区别软间隔存在的原因软间隔&硬间隔在目标函数层面上的表达软间隔下拉格朗日乘子的解释软间隔小结专业词汇Large Margin超...原创 2020-05-01 12:18:31 · 222 阅读 · 0 评论 -
机器学习学习笔记(六)--支持向量机
专业词汇鲁棒性(Robustness)支持向量机(Support Vector Machine)"间隔" (margin)最大|间隔 (maximum margin)个凸二次规划(convex quadratic programming) 问题"对偶问题" (dual problem)KKT (Karush-Kuhn-Tucker)SMO (Sequential Minimal O...原创 2020-03-10 11:15:51 · 387 阅读 · 0 评论 -
拉格朗日乘子法
目录简要描述物理含义应用等式约束不等式约束简要描述变量受一个或多个条件所限制的多元函数求极值的方法将一个----有n 个变量----与----k 个约束条件----的最优化问题转换为一个有----(n + k)个变量----的方程组的极值问题,其变量不受任何约束物理含义目标函数的等值线族(C即目标函数的值)曲线L是约束条件1,约束条件是等式:约束是一条曲线2,约束条件是不...原创 2020-03-04 15:05:53 · 431 阅读 · 0 评论 -
机器学习多次修补后笔记 --决策树
以辅助自己学习为主,只放了以后复习的时候我想看到的东西。原创 2020-03-02 00:49:51 · 363 阅读 · 0 评论