★★台大机器学习
林轩田课程
维格堂406小队
人天生都是软弱的,唯其软弱而犹能承担起苦难,才显出人的尊严。
展开
-
机器学习基石---How Can Machines Learn Better
对Week12-Week16做简单的总结,不仔细看所有细节。大体内容:借由非线性分类模型引出Overfitting的问题,从而提出Regularization和Validation,以及机器学习中三个原则。 非线性分类模型 前面提到的分类模型都是基于线性的:XwTXwTXw^T,那么非线性的是否可以有良好的分类能力呢。看下面一个例子: 对于上面的情况,右图的二次曲...原创 2018-02-23 12:03:14 · 276 阅读 · 0 评论 -
机器学习基石---第二周PLA
knitr::opts_chunk$set(echo = TRUE) 台大《机器学习基石》第二周课的笔记,只整理部分重要内容。希望能把课上学的,做一个精简的记录。 变量说明 存在两类数据,标记为yy,取值为−1,1{-1,1}。特征向量记为xx,x=(x0,x1,x2,...,xd)x=(x_0,x_1,x_2,...,x_d)。其中x0x_0为常量1,其余为具体特征值。存在原创 2017-12-19 15:27:17 · 539 阅读 · 0 评论 -
机器学习基石---Why Can Machines Learn(Part3)
knitr::opts_chunk$set(echo = TRUE) 1 前文回顾 Part2主要探讨M" role="presentation">MMM的数值对learning的影响。并且得出如果M" role="presentation">MMM有限,learning可能是可行的,因为此时满足Ein≈Eout" role="presentation">Ein≈Eout原创 2018-01-29 16:36:02 · 216 阅读 · 0 评论 -
机器学习基石---Why Can Machines Learn(Part5)
Part4主要介绍VC维概念。如果Hypotheses set的VC Dimension是有限的,且有足够多N的资料,并且演算法能够找到一个hypotheses使得Ein≈0E_{in} \approx 0,那么机器学习可行。Part5考虑存在noise时,上述的说法能否成立,并且介绍Error的相关内容。 1 Noise 数据集有Noise的情况下,VC维还可以用吗?还是从直观上解释,不做具体原创 2018-01-30 16:37:46 · 363 阅读 · 0 评论 -
机器学习基石---Why Can Machines Learn(Part4)
knitr::opts_chunk$set(echo = TRUE) Part3主要内容:如果N" role="presentation">NNN足够大并且某处存在break point,那么Ein≈Eout" role="presentation">Ein≈EoutEin≈EoutE_{in}\approx E_{out}可以满足。那么对于任意维度的2D perceptron原创 2018-01-29 16:47:26 · 295 阅读 · 0 评论 -
机器学习基石---Why Can Machines Learn(Part2)
knitr::opts_chunk$set(echo = TRUE) 1 前情回顾 Part1一文的主要内容是:如果training examples独立同分布于数据总体,那么当资料DD足够多(NN足够大),hypothesis setHH不太大 (M不太大),对于任意一个hypothesis hh,都有Ein≈EoutE_{in} \approx E_{out}。此时,如果演算法AA原创 2018-01-22 17:13:32 · 324 阅读 · 0 评论 -
机器学习基石---Why Can Machines Learn(Part1)
台大《机器学习基石》课程Week4-7讲的主要是机器学习算法为什么可行。看的稀里糊涂的,结合相关资料,做个总结,梳理下思路~ ML的框架如下: 1 符号表示 f:X→Yf:X \to Y:XX表示输入空间,可以理解为样本特征;YY表示输出空间,在二分类模型中可以理解为目标变量;ff为未知真理Or规律。即在李航《统计学习方法》中所说的”统计学习关于数据的基本假设是同类数据具有一定的原创 2018-01-20 23:53:45 · 319 阅读 · 0 评论 -
机器学习基石---Why Can Machines Learn(Part6-Summary)
这篇文章主要用自己的话对Week4-Week8的大体思路的一些总结,不涉及细节。 Part1-Part5主要阐述一个问题:learning在什么情况下是可行的?一个好的learning应该是在已知训练集和未知数据集中都有良好表现的,良好表现是指预测的误差较小。那么如果我们可以找到一个函数or方程使得它在训练集上误差小,并且这个函数在已知训练集和未知数据集中都有差不多的表现,那么我们可以说le原创 2018-01-30 17:22:50 · 230 阅读 · 0 评论 -
机器学习基石---Linear Regression
knitr::opts_chunk$set(echo = TRUE) 前面都是在讲泛化的问题,现在开始讲算法相关。我之前看李航的书大都是怎么构建损失函数以及如何优化损失函数,也没想过泛化的问题。至于线性回归,统计学里讲的比较取巧,先假定存在线性关系,受误差项影响产生一些波动。书归正传,按照Week9的顺序,权当复习。 符号标记 x=(x0,x1,x2,⋯,xd)T"原创 2018-02-05 16:11:41 · 338 阅读 · 0 评论 -
机器学习基石---Logistic Regression
knitr::opts_chunk$set(echo = TRUE) PLA返回结果是{0,1}" role="presentation">{0,1}{0,1}\{0,1\},而逻辑回归是一个Soft Binary Classification,它输出的{y=+1}" role="presentation">{y=+1}{y=+1}\{y=+1\}的概率。所以 Logistic Regres原创 2018-02-05 22:33:41 · 340 阅读 · 0 评论 -
机器学习技法---(Week1)Linear Support Vector Machine
技法的课,相对更关注算法,希望1个月内搞掂~ 课程介绍 共计16周课程,主要内容:哲学上直观的理解、关键理论、核心算法和实际操作的注意点。围绕特征变换,本次课程涉及到以下三个方向: 1. 如何对大量的特征进行开发和正则化操作:SVM模型 2. 组合预测特征,构建和融合预测特征:AdaBoost算法 3. 识别和学习潜藏的特征:Deep Learning 线性支持...原创 2018-03-20 11:23:17 · 287 阅读 · 0 评论 -
机器学习技法---(Week2)Dual Support Vector Machine
上节课把原始的优化问题改写成二次规划的形式,通过软件包来求解参数。这节课通过研究原问题的对偶问题,在一定条件下,对偶问题的最优解和解参数和原问题一致,继而得到原问题的解。 Motivation of Dual SVM 对于非线性SVM,通常是用线性变换将变量从x域(非线性)转换到z域(线性)中(e.g.[x,x2,x3]→[z1,z2,z3][x,x2,x3]→[z1,z2,z3]...原创 2018-03-28 20:04:07 · 280 阅读 · 0 评论 -
机器学习基石---Linear Models for Classification
三种线性模型的比较 先对比Linear Classification、Linear Regression、Logistic Regression: 1. Linear Classification模型 * 输出结果是评分结果ss的符号 * 误差衡量为0/1 error * cost function 是NP-hard问题 2. Linear Regression模型原创 2018-02-06 16:35:42 · 413 阅读 · 0 评论