林轩田机器学习基石课程
林轩田机器学习基石课程
Forlogen
无论世事如何,你都要成为一个更优秀的人。
展开
-
林轩田机器学习基石课程个人笔记-第六讲
接着上一讲学到的有关成长函数和breaking point的内容,最后留下一个猜测:2D perceptron的成长函数是不是多项式级别的呢?这一讲继续学习泛化的理论知识,进而回答这个问题。上面我们对于不同的情况进行分析,给出了它们的mH(N)(给出了划分的最大的dichotomy)和breaking point的值。当我们的N比较小时,我们可以手动模拟出breaking point的K的...原创 2019-01-16 21:06:07 · 690 阅读 · 0 评论 -
林轩田机器学习基石课程个人笔记-第十五讲
上一讲学习了一个避免过拟合的方法:正则化,通过正则化来减小模型的复杂度,从而达到避免过拟合的效果。这一讲介绍了另一种很常用的方法,那就是验证(Validation)在机器学习中,模型的学习过程是很复杂的,它最终的效果受很多东西的影响,即使是最简单的二分类也要考虑很多东西。比如我们针对这个问题,选择哪一种适合分类的算法;选择好算法后,迭代的回合数是多少;以及选择多大的步长;在非线性的数据集上,要...原创 2019-02-18 15:44:45 · 338 阅读 · 0 评论 -
林轩田机器学习基石课程个人笔记-第十四讲
上一讲学习了有关过拟合的内容,最后留下两个有关避免过拟合出现的方法没有讲,这一讲学习其中一个regularization,即正则化。如右图所示,蓝色的线使目标函数,红色的线是我们想要用来拟合数据的一个高阶的多项式,虽然拟合效果很好,Ein很小,但是Eout却很大,显然是过拟合了,那么使用什么办法可以使它逐步的接近于理想中的蓝线呢?一种很常用的也是很有效的方法就是regularization,如...原创 2019-02-17 20:43:47 · 447 阅读 · 0 评论 -
林轩田机器学习基石课程个人笔记-第十三讲
上一讲学习了如何利用先行转换将非线性的问题转换成为另一个域中的先线性问题进行求解。但是这样做会导致模型的复杂度上升,带来的一个很直接的结果就是可能会出现过拟合现象这一讲学习过拟合是如何出现的已经如何处理过拟合问题经过其他课程的学习,对于过拟合的相关内容已经有了一定的了解,再通过这门课加深下印象。我们知道如果模型出现了过拟合,那么模型在训练数据上表现会非常好,但是在未知数据上就会表现得很差,...原创 2019-02-17 14:06:25 · 377 阅读 · 0 评论 -
林轩田机器学习基石课程个人笔记-第十二讲
在前面学习的算法基本上都是用于线性分类或是线性回归,所用的数据集基本上也是线性可分的。但是在实际中这种理想的情况是大概率不存在的,也就是说我们的问题是线性不可分问题,这时应该怎么处理呢?这就是下面学习的内容举例来说,如下所示:如果数据集是线性可分的,意味着我们可以找到一条线较好的将不同的部分进行区分,数学上来说就是可以求出一个矩阵W来得到S;如果数据集是线性不可分的,那么很难找到一条直线进行很...原创 2019-02-16 16:07:56 · 338 阅读 · 0 评论 -
林轩田机器学习基石课程个人笔记-第十一讲
上一讲学习了Logistic Regression的相关内容,在误差衡量选择交叉熵的基础上使用梯度下降来得到我们需要的很好的h。这一讲从四个小部分将前面学习的模型结合起来,看看它们是如何来解决常见的分类问题。先对之前学习的几个模型做一个回顾。相同处在于都使用了有关输入的加权和的形式,来得到一个分数s.在线性分类中,我们使用的误差衡量是0/1error,最后通过sign(x)函数给出分类的结...原创 2019-02-16 11:04:12 · 363 阅读 · 0 评论 -
林轩田机器学习基石课程个人笔记-第十讲
上一讲学习了Linear Regression。首先,我们从问题出发,想要找到一条直线拟合实际数据值;然后,我们利用最小二乘法,用解析形式推导了权重w的解;接着,用图形的形式得到Eout-Ein≈2(N+1)/N,证明了linear regression是可以进行机器学习的;最后,我们证明linear regressin这种方法可以用在binary classification上,虽然上界变宽松了...原创 2019-02-08 22:15:56 · 673 阅读 · 0 评论 -
林轩田机器学习基石课程个人笔记-第九讲
前面主要学习了有关机器学习的基础知识,如VC维、误差衡量等,上一讲知道了即使是在 含有噪声的数据中,我们的学习也是可行的。这一讲开始学习第一个学习算法:线性回归,主要是从下面四个方面进行学习比如之前的信用卡的例子,用户提交了一系列的数据后,我们如何根据用户数据给出具体的透支的额度呢?用分类的方法显然不能很好的解决这个问题,回归算法就是一个很好的选择。如下图所示,用户的信息有年龄、年收入、工...原创 2019-02-03 14:24:44 · 487 阅读 · 1 评论 -
林轩田机器学习基石课程个人笔记-第八讲
之前学习的演算法都是建立在理想的数据上的,也就是我们的数据没有所谓的噪声,在无噪声的数据上算法是可行的,那么在实际中数据通常是很杂乱的,会有很多的噪声存在,那么在这些数据中,我们的算法是否还可行呢?上一讲学习了VC维的相关知识,我们知道如果我们有一个dvc,数据足够的多,并且可以得到足够小的Ein,那么就认为学习是可行的。接下来来学习在有噪声的数据中,我们的学习是怎么样的呢?Noise an...原创 2019-02-01 12:35:22 · 361 阅读 · 0 评论 -
林轩田机器学习基石课程个人笔记-第七讲
在上一讲,我们主要是做了一件事,即证明只要是存在breaking point的,那么它的成长函数mH(N)的上界B(N,K)就是N的K-1阶多项式,故得mH(N)的上界就是N的K-1阶多项式,即学习是可行的。在前面学习的基础上我们来学习关于VC维的东西。在前几讲中,我们将机器学习归纳为两个核心问题:1. 当我们的假设空间是有限的,当N足够大时,我们认为任意一个假设g都可以使Eout≈Ein...原创 2019-01-26 19:52:16 · 471 阅读 · 0 评论 -
林轩田机器学习课程
课程连接:Machine Learning Foundations and Machine Learning Techniques 包含了课程的讲义和视频。原创 2019-01-13 10:14:47 · 448 阅读 · 0 评论 -
林轩田机器学习基石课程个人笔记-第五讲
Recap and Preview在前面的一讲中讨论了Feasibility of Learning,即什么时候机器学习是可行的。我们认为机器学习是一种概率可行的问题,如果我们有足够多的统计数据以及有限个假设,我们总认为可以找到一个满足现有数据的最好的假设,这样我们就认为机器学习是可行的。下面主要学习了Why can machines learn?为什么机器是可以学习的。承接前面我们呢引...原创 2019-01-13 10:29:53 · 437 阅读 · 0 评论 -
林轩田机器学习基石课程个人笔记-第四讲
这一讲主要学习了学习的可行性,将从以下的四个小节进行学习。Learning is Impossible?首先给出一个学习的小问题,我们也可以在很多情况看到这种类似的益智问题。在如下的3*3的方格中,有的小格被黑色所填充,有的没有,然后上面三种情况下,我们给出的y的值为-1,而下面三种情况给出的y的值为+1。问你如果遇到最下面的那种情形,值应该是多少呢?这时候你就疯掉啦,什么鬼?有啥规律呢?费...原创 2019-01-13 16:29:56 · 504 阅读 · 0 评论 -
林轩田机器学习基石课程个人笔记 - 第一讲
之前看过课程的一部分,后面就去看吴恩达的机器学习课了,又因为琐事忘记了完成这门课的学习,趁着放假想着在过年前把这两门课学习完,同时做一个总结,算是对本学期学习的一个收官吧。话不多话,动起来!这门课叫做机器学习基石,简介如下下面开始学习第一讲啦 :)机器学习是一门包含很多学科知识的方向,它包含很多的的理论知识,同样也有很多的实践的工具可供选择。通常可以通过不同的导向去学习相关的知识,比如理论导...原创 2019-01-13 20:48:06 · 439 阅读 · 0 评论 -
林轩田机器学习基石课程个人笔记-第三讲
这一讲主要学习了有关机器学习类型的相关内容。在前面的学习中提到一个有关信用卡发放的例子,我们根据一些相关的数据来绝对是否对某一用户发放信用卡,那么得到的结果就是NO(-1)和YES(+1)。这就是机器学习最基础的一种问题:二分类问题。即根据输入的数据进行判断,最后给出两个类型的结果,非此即彼。二分类问题在我们的生活中是很普遍的存在,像提到的信用卡的发放问题,以及垃圾邮件的过滤、判断一个人是...原创 2019-01-14 11:31:05 · 508 阅读 · 0 评论 -
林轩田机器学习基石课程个人笔记-第二讲
前一讲对于机器学习有了初步的认识,这一讲学习了一个很基本的模型:感知机模型。为了说明我们的感知机模型,这里我们首先举一个例子:当我们去银行申请信用卡的时候,我们需要填写一些相关的信息,然后银行审查后会决定是否发放。比如我们的信息有如下几种有了上面的信息后,我们怎么做呢?其中一种简单的做法就是对于每一个数据赋予一个权重w,然后求积再取和,判断结果和我们设置的阈值的大小关系。如果大于阈值,发放...原创 2019-01-15 19:08:52 · 713 阅读 · 0 评论 -
林轩田机器学习基石课程个人笔记-第十六讲
上一讲学习了通过验证的方法来避免过拟合现象的发生,这一讲来学习几个在学习过程中重要的几个原则,并对这门课做一个简单的总结和对后面的学习做一个展望。第一个就是奥卡姆剃刀原则:在能解释清楚某个东西的基础上,能用简单的话就不要用复杂的它反映到机器学习上是个什么意思呢?它指的是在所有可能选择的模型中,我们应该选择能够很好地解释已知数据并且十分简单的模型。比如之前的例子中,我们能用低阶的模型取得比...原创 2019-02-18 17:29:09 · 315 阅读 · 0 评论