机器学习技法
文章平均质量分 68
wang_buaa
北航在读研究生一枚
展开
-
机器学习技法笔记1:线性SVM
1-1 最大边界间隔超平面最大边界间隔超平面(Large-Margin Separating Hyperplane) 1、 回顾一下我们之前介绍了linear classification,对于线性可分的情况,.数学上就是求出加权的分数,判断分数的正负,来预测结果。我们可以使用PLA/pocket算法在平面或者超平面上把正负类分开 例如对平面2D这种情况,我们可以找到一条直线,能将正...原创 2018-09-04 21:13:43 · 789 阅读 · 0 评论 -
机器学习技法笔记12:神经网络
本节课主要学习神经网络原创 2018-09-14 08:21:48 · 236 阅读 · 0 评论 -
机器学习技法笔记11:GBDT
本节课主要学习GBDT原创 2018-09-13 16:19:50 · 191 阅读 · 0 评论 -
机器学习技法笔记10:随机森林
10-1 Random Forest Algorithm原创 2018-09-13 15:35:20 · 382 阅读 · 0 评论 -
机器学习技法笔记9:决策树
9-1 Decision Tree Hypothesis上节课我们主要介绍了Adaptive Boosting。AdaBoost演算法通过调整每笔 资料的权重,得到不同的hypotheses,然后将不同的hypothesis乘以不同的 系数α进行线性组合。这种演算法的优点是,即使底层的演算法g不是特别好 (只要比乱选好点),经过多次迭代后算法模型会越来越好,起到了boost提 升的效果。本节课...原创 2018-09-13 11:14:46 · 257 阅读 · 0 评论 -
机器学习技法笔记7:blending and bagging
7-1 Motivation of Aggregation在这部分,主要介绍了blending和bagging,7-1介绍了集成学习的两个优点:实现特征转换以及正则化。7-2介绍了uniform blending,也就是所有假设的权重均为1时的blending,7-3介绍了linear blending,此时假设的权重不同,7-3介绍了bagging,核心就是通过bootstrap来得到不同的...原创 2018-09-10 17:32:48 · 393 阅读 · 0 评论 -
机器学习技法笔记13:深度学习
本节课主要讲解深度学习部分的预训练方法,以及PCA降维方法原创 2018-09-17 15:59:44 · 162 阅读 · 0 评论 -
机器学习技法笔记5:Kernel 逻辑回归
5-1 Soft-Margin SVM as Regularized Model上节课我们主要介绍了Soft-Margin SVM,即如果允许有分类错误的点存在, 那么在原来的Hard-Margin SVM中添加新的惩罚因子C,修正原来的公式, 得到新的αn值。最终的到的αn有个上界,上界就是C。Soft-Margin SVM权 衡了large-margin和error point之前的关系,...原创 2018-09-06 21:34:40 · 1079 阅读 · 0 评论 -
机器学习技法笔记4:Soft-Margin SVM
之前几篇见:4-1 Motivation and Primal Problem上节课我们主要介绍了Kernel SVM。先将特征转换和计算内积这两个步骤合 并起来,简化计算、提高计算速度,再用Dual SVM的求解方法来解决。 Kernel SVM不仅能解决简单的线性分类问题,也可以求解非常复杂甚至是无 限多维的分类问题,关键在于核函数的选择,例如线性核函数、多项式核函数 和高斯核函数...原创 2018-09-06 13:15:55 · 1715 阅读 · 0 评论 -
机器学习技法笔记3:Kernel SVM
前两篇见: 机器学习技法笔记1:线性SVM 机器学习技法笔记2:SVM的对偶形式3-1 Kernal Trick上节课我们主要介绍了SVM的对偶形式,即dual SVM。Dual SVM也是一个 二次规划问题,可以用QP来进行求解。之所以要推导SVM的对偶形式是因 为:首先,它展示了SVM的几何意义;然后,从计算上,求解过程“好像” 与所在维度d^无关,规避了d^很大时难以求解的情...原创 2018-09-05 21:40:57 · 719 阅读 · 0 评论 -
机器学习技法笔记8:adaptive boosting(Adaboost)
8-1 Motivation of Boosting(提升的目的)上节课我们主要开始介绍Aggregation Models,目的是将不同的hypothesis 得到的gt集合起来,利用集体智慧得到更好的预测模型G。首先我们介绍了 Blending,blending是将已存在的所有gt结合起来,可以是uniformly, linearly,或者non-linearly组合形式。然后,我们讨论了...原创 2018-09-11 21:32:34 · 283 阅读 · 0 评论 -
机器学习技法笔记2:SVM的对偶形式
2 SVM的对偶形式 1、上次学习过 上一节课我们说过,使用SVM得到large-margin,减少了有效的VC Dimension,限制了模型复杂度;另一方面,使用特征转换,目的是让模型更 复杂,减小Ein。所以说,非线性SVM是把这两者目的结合起来,平衡这两者 的关系。那么,特征转换下,求解QP问题在z域中的维度设为d~+1,如果 模型越复杂,则d~+1越大,相应求解这个QP问题也变得...原创 2018-09-05 17:05:47 · 883 阅读 · 0 评论 -
机器学习技法笔记6:support vector regression(SVR)
6-1 Kernel Ridge Regression上节课我们主要介绍了Kernel Logistic Regression,讨论如何把SVM的技巧 应用在soft-binary classification上。方法是使用2-level learning,先利用 SVM得到参数b和w,然后再用通用的logistic regression优化算法,通过 迭代优化,对参数b和w进行微调,得到最佳...原创 2018-09-08 12:26:01 · 1659 阅读 · 0 评论 -
机器学习技法笔记总结(一)SVM系列总结及实战
本篇文章对于SVM的一系列原理进行了总结,其中涉及了线性SVM,SVM的对偶形式,soft-margin SVM,SVR等等一系列相关知识,并且使用sklearn进行了实战,给出的一个人脸识别的例子原创 2018-09-20 11:34:48 · 1398 阅读 · 0 评论