- 博客(17)
- 收藏
- 关注
RSS订阅转载 《机器学习基石》第16节课学习笔记
第16节课 Three Learning Principles本节课主要学习了机器学习中非常实用的三个“锦囊妙计”：奥卡姆剃刀定律、抽样偏差、避免“偷窥数据”。本节课多为概念性的知识，比较好懂。最后一小节对16节课学过的知识进行了回顾，个人认为很重要，这一块内容抄了一遍在本子上，加深记忆，更好的回顾学过的东西！（一）奥卡姆剃刀定律1.定义：奥卡姆剃刀定律（Occam’...
2019-05-29 23:59:00
144
转载 《机器学习基石》第15节课学习笔记
第15节课 Validation本节课主要学习了Validation验证。介绍了要选择好的机器学习的模型的一些概念，然后详细介绍了Validation的过程。最后，介绍了两种验证方法，比较它们各自的优点和缺点。两者验证方法的推导过程没怎么听懂，需要进一步消化吸收。另外涉及到以前学过的知识：pocket，忘记了这个知识点，需要复习！（一）机器学习模型的选择1.关于二元...
2019-05-29 21:50:00
168
转载 《机器学习基石》第14节课学习笔记
第14节课 Regularization本节课是在overfitting（过拟合）的基础上展开的学习和推导。将原先的高阶多项式的问题，转变成低阶多项式加上限制条件之后的问题，我们就可以进一步转化为Eaug最小化问题，即把w的平方加进去。这部分最优化问题的求解过程、正规化和VC理论之间的关系没有听懂，期间涉及到了梯度这个概念，最后还引入了对λ的探讨。需要好好掌握。（一）引...
2019-05-28 22:43:00
195
转载 《机器学习基石》第13节课学习笔记
第13节课 Hazard of Overfitting本节课主要介绍了overfitting的概念，即当Ein很小，Eout很大的时候，会出现overfitting。详细介绍了overfitting发生的四个常见原因以及学习了解决overfitting的两种简单点的方法。这节课学习中涉及到了噪音，VC维等前面学到的知识。总之过拟合这个知识点要好好把握！也是一个难点，多回顾几遍...
2019-05-26 10:27:00
554
转载 《机器学习基石》第12节课学习笔记
第12节课Nonlinear Transformation这节课主要介绍了非线性分类模型，通过非线性变换，将非线性模型映射到另一个空间，转换为线性模型，再来进行线性分类。本节课完整学习了非线性变换的整体流程，以及非线性变换可能会带来的一些问题：时间复杂度和空间复杂度的增加。最后介绍了在要付出代价的情况下，使用非线性变换的最安全的做法，尽可能使用简单的模型，而不是模型越复杂越好...
2019-05-25 21:45:00
208
转载 《机器学习基石》第11节课学习笔记
第11节课 Linear Models for Classification本节课主要学习了分类问题的三种线性模型：linear classification（线性分类）、linear regression（线性回归）和logistic regression（逻辑回归）。首先比较了这三种模型，然后介绍了比梯度下降算法更加高效的SGD算法来进行logistic regressio...
2019-05-25 17:55:00
145
转载 《机器学习基石》第10节课学习笔记
第10节课Logistic Regression本节课继续学习了回归的问题，线性回归重点是求解了w 的解析方案(通过pseudo-inverse 求解w)。而这节课学习了另一个很重要的方法，逻辑斯蒂回归(logistic regression)。里面涉及到的数学意义，需要自己多钻研，涉及到回归优化，梯度问题（不太懂）等等，需要多下功夫好好去理解。（一）逻辑斯蒂回归问题...
2019-05-25 14:46:00
140
转载 《机器学习基石》第9节课学习笔记
第9节课 Linear Regression本节课本学习了机器学习最常见的一种算法：Linear Regression（线性回归）。这是学习《机器学习基石》中学到的第二种算法，第一种是PLA算法。先学习了线性回归问题，再学习的线性回归算法，最后有个泛化问题（数学推导那块没太懂）。所以本节课特别重要，希望通过本节课学习对线性回归有自己初步的了解。（一）线性回归问题1....
2019-05-25 12:12:00
286
转载 《机器学习基石》第8节课学习笔记
第8节课 Noise and Error本节课主要学习了数据集有Noise的情况下，是否能够进行机器学习，并且介绍了假设空间H下演算法A的Error估计。本节课是对上一节知识的拓展和延伸，涉及到一点数学推导，不过基本上多为概述性的东西，相对起来比较好理解。（一）引入noise1.VC维理论：VC维是机器学习中一项重要的工具。2.机器学习的流程：3.引入no...
2019-05-25 10:09:00
285
转载 《机器学习基石》第7节课学习笔记
第7节课 The VC Dimension上节课的最后一部分推导引出了VC维理论的公式，本节课主要学习了VC维理论的各种概念。学习了VC维的定义，感知机的VC维以及VC维的物理意义和VC维的解释。VC维理论是分析机器学习模型的最重要的理论工具。本节课的知识掌握的不好，很多地方没有理解，需要多下功夫去学习！补充：如果Hypotheses set的VC维是有限的，且有足够多N...
2019-05-24 22:28:00
280
转载 《机器学习基石》第6节课学习笔记
第6节课 Theory of Generalization上节课主要讨论了当M的数值大小对机器学习的影响，验证了M有限，最好是按照多项式成长，重点和难点是成长函数与突破点。本节课是在此基础上学习了归纳理论，引用了上限函数进行了一系列证明和推论。主要学习了只要存在break point，那么其成长函数mH(N)就满足poly(N)。推导过程是先引入mH(N)的上限B(N,k)...
2019-05-23 23:34:00
228
转载 《机器学习基石》第5节课学习笔记
第5节课 Training versus Testing本节课我更加深入的学习了机器学习的可行性。可以机器学习拆分为两个核心问题：Ein(g)≈Eout(g)和Ein(g)≈0。针对这两个问题展开了探讨，主要针对批量的二元分类问题。后面对成长函数和突破点的介绍没有看懂，还需要进一步理解。1.上节课机器学习可行性的回顾（1）一个重要公式：（2）机器学习流程图：...
2019-05-18 22:36:00
163
转载 《机器学习基石》第4节课学习笔记
第4节课Feasibility of Learning本节课主要学习了机器学习的可行性，讨论问题是否可以使用机器学习来解决。引用了许多事例，还引用了概率论的知识。有一些专业名词，像Hoeffding's inequality，PAC，引用到的两个值Ein(h)和Eout(h)，还有Bad Data的情况。在这次的学习中，我对于Hoeffding's inequality 的式...
2019-05-18 20:23:00
200
转载 《机器学习基石》第3节课学习笔记
第3节课 Types of Learning本节课主要学到了根据四种不同标准，机器学习有哪些种类，并进行了归纳。在本节课中重点学到了二元分类（上节课有接触到），回归，监督学习，非监督学习等等，属于概念性质的一节课，没有演算，数学推导等等。比较好懂。1.根据输出空间来分类主要分为二元分类和多元分类。还涉及到回归问题等等。（1）二元分类①引例：之前银行根据用户...
2019-05-18 18:46:00
170
转载 《机器学习基石》第2节课学习笔记
第2节课 Learning to Answer Yes/No本节课主要学习了二分类法和感知机Perceptron模型，视频中推导了课程的第一个机器学习算法：Perceptron Learning Algorithm（PLA）。这一部分明显对比出和第一节课的不同，这一部分开始更加深入机器学习的核心，算法很重要（我需要先理解一遍理论知识，学习完《机器学习基石》理论的东西，就要开始逐...
2019-05-18 17:01:00
181
转载 《机器学习基石》中的有疑惑的部分（不断更新）
1.在第一节课中，对于机器学习流程中总结出的式子，如下： 理解了D是数据的含义,也大体了解g是最终通过机器学习得到更好的表现，H是假设，A是机器学中用到的算法（即学习过程中用到的准则，怎么去判断），H是所有假设。但这几个字母具体的理解还不太懂，比如到底是个什么东西，假设和g联系到现实生活中是什么，算法这一块得后期实践的时候理解，总之这个知识点掌握的不透彻，存在疑惑。...
2019-05-18 15:52:00
176
转载 《机器学习基石》第1节课学习笔记
第1节课The Learning Problem写在前面：本节课由于是第一节课，属于概述性的知识，比较繁琐，所以整理过程中图片和文字较多，分小节的方式总结了机器学习中的知识点，希望这节课的笔记可以给接下来的学习打下基础。本节课最大的收获是学会了机器学习的流程以及机器学习的三个关键： 1.1Course Introduction本小节主...
2019-05-18 14:21:00
133
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人