林轩田机器学习技法课程
林轩田机器学习技法课程
Forlogen
无论世事如何,你都要成为一个更优秀的人。
展开
-
林轩田机器学习技法第一讲-Linear Support Vector Machine
学习完了机器学习基石课程后,趁热打铁继续学习下机器学习技法的课程啦!完了就要专心看论文了~~~首先看一下两门课的共通点以及这门课所侧重的三个算法:SVM、Adaptive Boosting、Deep Learning,它们分别从不同的思想提出,各有千秋了解之后,正式开始学习了!第一讲学习有关线性支持向量机的知识首先我们回归一下上门课程所学到的有关线性分类的东西,如下图所示,给定一系列不同类...原创 2019-02-21 15:35:56 · 489 阅读 · 0 评论 -
林轩田机器学习技法第六讲-Support Vector Regression
上一讲讲了如何将kernel的思想结合Logistic Regression,应用到Soft-binary Classification中。这讲来看一下如何将SVM技巧应用到回归算法中上一讲我们证明了任何的包含L2正则化的线性模型,它的最佳的w*都可以写成是关于Zn的线性组合。我们之前L2正则化的线性模型的求解表达式如下所示,按照前面的证明,我们就可以使用kernel来将我们的模型kernel...原创 2019-02-26 17:58:26 · 379 阅读 · 0 评论 -
林轩田机器学习技法第十讲-Random Forest
上一讲学习了决策树算法,这一讲来学习讲bagging和Decision Tree结合起来的一种集成算法:随机森林(Random Forest)Bagging是使用booststrap从现有的数据集D中产生多个不同的新数据集D’,然后在这些数据集上运行基演算法得到相应的gt,最后将所有的gt采用投票(类别型)或是取平均值(数值型)的方式集成为最后的模型G。Decision Tree是根据分割的...原创 2019-03-02 17:00:51 · 489 阅读 · 0 评论 -
林轩田机器学习技法第九讲-Decision Tree
上一讲学习了AdaBoost算法,通过在算法的迭代中不断地调整数据的权值,得到不同的h,然后使用不同的系数α将其线性组合,得到最后的模型。通过这种提升的办法,将本来可能并不是很好的模型变成要求的效果的程度。这一讲来学习决策树(Decision Tree),这个之前单独的看过,这里再听林老师讲,希望从不同的角度来学习这个算法前面讲的Aggration Model,通过将不同的h进行整合从何得到...原创 2019-03-01 22:17:58 · 484 阅读 · 0 评论 -
林轩田机器学习技法第五讲-Kernel Logistic Regression
上一讲学习了Soft-Margin Support Vector Machine,至此基本的支持向量机就介绍完了。那么其中涉及的思想能否和其他的算法结合起来呢?这讲就看一下如何将核技巧和之前学习的Logistic Regression结合起来首先回顾一下之前学习的几种支持向量机如下所示,具体的内容可见前面几讲,具体不再赘述具体再来看一下Soft-Margin SVM的内容,我们用ξn来表示...原创 2019-02-25 16:39:30 · 356 阅读 · 0 评论 -
林轩田机器学习技法第八讲-Adaptive Boosting
上一讲学习了如何使用blending将很多的g结合起来,从而提升模型的整体的效果,已经如何使用boosting来从一个数据集中产生多个不同的新数据集。这一讲来看一下提升算法,主要看Adaptive Boosting这个算法。我们有一个简单的例子引入:当我们刚刚开始辨别事物的时候通常需要学习一系列的规则,比如在识别苹果时,A说苹果是圆的,反映到下面的数据集中,有些是对的,但是有些被错分了然后...原创 2019-02-28 19:47:08 · 374 阅读 · 0 评论 -
林轩田机器学习技法第四讲-Soft-Margin Support Vector Machine
前面我们学习了Linear Hard-Margin Support Vector Machine、Dual Support Vector Machine和Kernel Support Vector Machine,解决了某些问题。但是这些都是硬间隔支持向量机,即要求每一个点都不能分错,这就可能会导致模型的复杂度提高,从而出现过拟合。而这一讲讲的是,如果我们允许某一些点可以分错,允许噪声的存在,这样...原创 2019-02-24 16:30:02 · 392 阅读 · 0 评论 -
林轩田机器学习技法第三讲-Kernel Support Vector Machine
上一讲讲到通过Dual Support Vector Machine我们最后的表达式看起来只与N有关,而和新转换域的维度d无关,但其实它隐藏在了Q的计算之中。这一讲来看一下,能否通过其他的方法来解决这个问题首先回顾一下上一讲得到的表达式如下,通过二次规划的方法求解,得到α、w、b,从而最后等到我们的假设h,具体的求解过程可见上一讲。但是有一个问题就是在计算qn,m时涉及到ZnTZm(z是x...原创 2019-02-23 15:46:54 · 386 阅读 · 0 评论 -
林轩田机器学习技法第七讲-Blending and Bagging
前面我们主要学习了一系列的回归和分类的算法,其中可以使用正则化或是kernel来达到更好的效果,但是在实际的使用中是一个单独的算法而Aggregation Models,如何将不同的假设和特征结合起来,从而达到更好的效果,这一讲主要是Blending和Bagging,从以下四小部分学习下面从一个生活中的小例子引入:当我们买股票时,通常不会是随意的选择一支去买,为了得到最大的收益,一般都会去...原创 2019-02-27 17:06:29 · 513 阅读 · 0 评论 -
林轩田机器学习技法第二讲-Dual Support Vector Machine
上一讲学习了线性硬间隔支持向量机,如果数据集是线性可分的,在得到我们的目标表达式和它的限制条件后,可以使用二次规划的方法进行求解;如果是非线性可分的,通过线性转换到其他的域中,同样可以使用线性可分的方法来做。这一讲学习Dual Support Vector Machine,即对偶支持向量机,希望找到一种其他的更好的方法进行求解。在上一讲的Linear Hard-Margin SVM中,我们最...原创 2019-02-22 17:07:28 · 411 阅读 · 0 评论 -
林轩田机器学习技法课程第十三讲-Deep Learning
这一讲的是对Deep Learning这个热门方向的一个介绍,虽然很多知识在现在看起来有点老了,但还是有很多的启发意义。主要从以下四个面进行介绍:Deep Neutral NetworkAutoencoderDenoising AutoencoderPrincipal Component Analysis下图是在第12讲中提到了一个关于神经网络的简单的示例,它包括输入层、两个隐藏层...原创 2019-04-14 10:50:29 · 348 阅读 · 0 评论