机器学习基石笔记
文章平均质量分 90
林轩田机器学习基石笔记,视频地址:
基石:https://www.bilibili.com/video/av12463015/?from=search&seid=11307936685236699625
Augus_Xu
这个作者很懒,什么都没留下…
展开
-
林轩田机器学习技法笔记1:Liner Support Vector Machine(SVM)
0. 前言机器学习技法第一课,机器学习技法将会有16课。第一课将会介绍线性支持向量机。1. Large-Margin Separating Hyperplane我们之前使用PLA、Pocket、线性分类等方法时,会得到不同的直线,他们都能得到正确的分类,比如说: 三条直线都是正确的,但是最好的直线是哪个呢?直观的看是第三个,因为在第三幅图中,样本点离直线比较远,看起来比较”安全“原创 2018-02-05 22:26:17 · 866 阅读 · 0 评论 -
林轩田机器学习技法笔记2:Dual Support Vector Machine
0. 前言上一节课我们介绍了支持向量机、margin、怎么解支持向量机等。这一节课我们将会研究支持向量机的对偶问题。1. Motivation of Dual SVM上一节课中我们讲到,求解线性支持向量机的QP问题中变量数量为d^+1" role="presentation" style="position: relative;">dˆ+1d^+1\widehat{d}+原创 2018-02-06 19:40:22 · 741 阅读 · 0 评论 -
林轩田机器学习基石笔记2:PLA算法
(注:笔者仍处于学习阶段,博客也是刚开始写,如有任何问题欢迎指正!)0. 机器学习简述机器学习的目的是通过假设函数g去近似目标函数f的过程。用一张图表示就是: 目标函数f:从特征向量XX映射到标签y的函数。训练集DD:一共有N个样本(我更喜欢用m表示样本数量),每个样本的XX特征,y为标签。学习算法AA:机器学习要做的部分,训练假设函数g近似目标函数f。假设函数gg:我们通过原创 2018-01-13 10:50:48 · 600 阅读 · 1 评论 -
林轩田机器学习基石笔记3:机器学习分类
笔者正处于学习阶段,任何问题欢迎指正。0. 前言机器学习通过样本输出维度,输入维度,学习方法等可以分成许多类别,这篇文章主要屡一下这些关系,首先看一下我做的思维导图,下面我会对每一种类别进行介绍。 1. 根据输出空间分类输出空间YY是分类器通过输入特征得出的结果,根据输出空间机器学习可以分为四类。二分类问题:Y∈{1,2}Y\in\left\{1,2\right\}原创 2018-01-13 21:31:55 · 297 阅读 · 0 评论 -
林轩田机器学习基石笔记4:机器学习的可行性
笔者处于学习阶段,有任何问题欢迎指正。0. 前言这一篇文章中我们将会对机器学习的可行性进行一次讨论,首先我们得明确一个分类器怎么才算是好的分类器呢?很简单,能准确分类的就是好分类器。但是事情并没有那么简单,如果您感到好奇就继续往下看吧。这里放一下我要讲解的大纲。 1. 引出问题:机器学习真的可行吗?我们前面说了,好的分类器能够精准的分类,但是什么才是精准的分类呢?我们看一原创 2018-01-15 19:00:23 · 394 阅读 · 0 评论 -
林轩田机器学习基石5笔记:训练和测试的不同
1. Recap and Preview(复习和预览 )复习在第一节课中讲到,机器学习的目的是训练出分类器gg,使得gg与理想分类器ff近似,也就是分类器的实际错误率(在所有数据中的错误率)Eout(g)≈0E_{out}(g)\approx0。在第二节课中讲到,我们说无法办法在所有数据中的错误率近似0,但是我们可以使分类器在抽取的样本中错误率近似为0(Ein(g)≈0E_{in}原创 2018-01-17 19:32:19 · 371 阅读 · 0 评论 -
林轩田机器学习基石心得5:Training versus Testing
前言之前发现 已经有不少的博主写过机器学习基石的笔记了,为了节省时间我将不再进行系统的总结,而是写一些自己的心得、感悟及稍总结下。如果要系统的学习,推荐看一个博主的文章: http://blog.csdn.net/red_stone1/article/details/711046541. Recap and Preview机器学习的两个核心任务:较强的泛化能力:Ein≈Eo原创 2018-01-22 11:32:25 · 269 阅读 · 0 评论 -
林轩田机器学习基石心得6:Theory of Generalization
0. 前言该文章是本人观看视频后的一些心得,系统笔记请前往: http://blog.csdn.net/red_stone1/article/details/711229281. Restriction of Break Point影响成长函数mH(N)m_H(N)的两个因素: 样本数量NNbreak pointkk2. Bounding Function: Ba原创 2018-01-22 13:37:53 · 473 阅读 · 0 评论 -
林轩田机器学习基石心得7:The VC Dimension
该文章为本人观看视频心得,详细笔记可前往: http://blog.csdn.net/red_stone1/article/details/711912320. 前言前一课中着重介绍了机器能够学习的条件并做了详细的推导和解释。机器学习可行需要满足两个条件: - Ein≈EoutE_{in} \approx E_{out} - Ein≈0E_{in} \approx 0 上次课引原创 2018-01-22 17:58:51 · 293 阅读 · 0 评论 -
林轩田机器学习基石心得8:Noise and Error
注:本文为博主观看视频后的心得与总结,详细笔记可戳: http://blog.csdn.net/red_stone1/article/details/715121860. 前言上一节课中讲解了VC唯及其意义,证明只要假设函数集的VC维是有限的,那么在样本足够的情况下机器学习就是可行的。这一节课中主要讲解数据中存在Noise时机器学习是否可行,及几种错误估计方法。1. Noise原创 2018-01-22 23:22:05 · 217 阅读 · 0 评论 -
林轩田机器学习基石心得9:Linear Regression
0. 前言该文章是本人观看视频后的一些心得,系统笔记请前往: http://blog.csdn.net/red_stone1/article/details/71599034这一节课主要介绍机器学习常用的一种算法:线性回归。1. 线性回归问题线性回归问题:当样本的标签属性与特征呈线性关系时候,预测出一条直线(对应一维)、一个平面(对应二维)或者更高维的超平面(y=WTXy=原创 2018-01-24 17:52:21 · 423 阅读 · 0 评论 -
林轩田机器学习基石心得10:Logistic Regression
0. 前言这篇文章是我精简的总结了视频中第10课的内容,推荐另一篇笔记: http://blog.csdn.net/red_stone1/article/details/72229903这一节主要介绍的是逻辑回归分类器。1. Logistic Regression Problem逻辑回归问题:之前的课程中,我们需要的目标函数预测结果要么是+1/-1(二分类问题),或者是原创 2018-01-25 22:48:56 · 523 阅读 · 0 评论 -
林轩田机器学习基石心得11:Linear Models for Classification
0. 前言本篇文字是个人对机器学习基石11课的一些总结。这节课主要讲解的是线性分类模型。1. Linear Models for Binary Classification几种线性模型的总结:线性分类:假设函数:h(x)=sign(wTx)" role="presentation" style="position: relative;">h(x)=sign(wTx)h(x)=原创 2018-01-30 21:13:00 · 254 阅读 · 0 评论 -
林轩田机器学习基石心得12:Nonlinear Transformation
0. 前言上一节课中讲讲解了线性模型分类的几个问题,包括随机梯度下降、多分类问题的解决方法等。 但是之前讨论均是在数据线性可分的假设下,假如数据不是线性可分的怎么办?这一节我们讨论非线性问题。1. 二次假设:Quadratic Hypotheses之前在处理二分问题时,假设函数为:h(x)=sign(wTx)" role="presentation">h(x)=sign(wTx)原创 2018-01-31 22:15:12 · 222 阅读 · 0 评论 -
林轩田机器学习基石笔记13:Hazard of Overfitting
0. 前言之前的课程中讲到,在使用非线性分类器时,我们使用越高阶的特征转换,模型会更复杂,同时得到更高的VC维度。这节课中将会介绍这一行为导致机器学习中一个重要的问题:过拟合。1. What is Overfitting什么是过拟合,看一张图就明白了: 可以看到,目标函数是蓝色的线,一共有5个样本可供学习,我们使用一个复杂的分类器将5个样本学的很好,但是得到的结果和蓝色的差很多原创 2018-02-01 22:01:47 · 278 阅读 · 0 评论 -
林轩田机器学习基石笔记14:Regularized
0. 前言上一课讲到了过拟合。什么是过拟合、过拟合什么时候发生、怎么处理过拟合等。其中有一种解决过拟合的方法是Regularized,这一节课我们将会讲解这种方法。1. Regularization Hypothesis我们知道,多阶多项式包含低阶多项式。 那么在高阶多项式中加入一些限定条件,使它近似为低阶多项式即可。这种函数近似曾被称之为不适定问题(ill-posed p原创 2018-02-02 23:18:55 · 303 阅读 · 0 评论 -
林轩田机器学习基石笔记14:Validation
0. 前言之前的课程讲解了为了避免overfitting,可以使用regularization方法来解决。在之前的Ein" role="presentation" style="position: relative;">EinEinE_{in}上加上一个regularizer,生成Eaug" role="presentation" style="position: relative;">Eau原创 2018-02-04 12:07:43 · 826 阅读 · 0 评论 -
林轩田机器学习基石笔记16:Three Learning Principles
0. 前言上一节课讲解了机器学习中提升分类器泛化能力的一种方法–Validation。即讲数据分成训练样本和测试样本,用训练样本训练分类器,用测试样本筛选分类器,最后得到再测试样本中性能最好的分类器。这一节课我们讲解机器学习中非常实用的三个“锦囊妙计”。1. Occam’s Razor奥卡姆剃刀定律(Occam’s Razor):在选择模型的时候尽量选简单的,低阶的能用就别用高阶原创 2018-02-04 19:31:57 · 677 阅读 · 0 评论