机器学习--台大林轩田
台湾大学林轩田老师关于机器学习课程的内容。基石部分从分类,到逻辑回归,到线性回归,最后是模型改进方法。而技法部分从SVM,到集成方法,再到决策树。
丁磊_Ml
业精于勤,荒于嬉;行成于思,毁于随。
展开
-
svm系列之最大分隔超平面
svm 最大分隔超平面原创 2016-07-24 23:39:51 · 8562 阅读 · 2 评论 -
分类系列之感知器学习算法PLA 和 口袋算法Pocket Algorithm
我们有一堆数据,默认他们是线性可分的。 定义f为这个数据分割线的最优解,但是我们不知道他的值。 我们仅有一个函数集H,这个函数一般是无穷大的。我们的目的就是从H中找出一条线g来尽可能的接近f。但是,我刚刚说了,H内的函数一般是无穷多的,我们不可能把H中的函数一 一 比较,得到最好的分割线g吧!!!不过伟大的科学家就说,我们的目的不就是找出一条线把这些数据都分开吗!!那我随机的初始化一条分割线 g原创 2016-07-25 23:09:20 · 5574 阅读 · 2 评论 -
type of machine learning
type原创 2016-07-29 16:21:51 · 821 阅读 · 0 评论 -
机器学习的可行性
机器学习的可行性原创 2016-08-02 13:47:53 · 907 阅读 · 0 评论 -
训练与测试
无原创 2016-08-02 18:16:42 · 710 阅读 · 0 评论 -
泛化理论(举一反三)
VC维原创 2016-08-05 18:05:36 · 3789 阅读 · 0 评论 -
VC Dimension (VC 维)
vc维原创 2016-08-06 16:51:26 · 1812 阅读 · 0 评论 -
VC维的物理意义
vc维的物理意义原创 2016-08-07 15:26:12 · 1617 阅读 · 0 评论 -
noise and error
我们前面讲的所有东西都没有把 数据的noise 考虑进去。即都是假设x是服从未知的P(X)P(X)分布(分布不用知道),用最标准的目标函数f(f不用知道的),得到其对应的y,然后从中抽取N个数据训练模型(其他的我们数据也不知道)。 可是如果数据有noise的话,我们并不能确定我们手里的y就是正确的(即是f给的)。那我们该怎么处理呢??方法就是认为y是一个目标分布,.即原来是原创 2016-08-08 10:53:29 · 1169 阅读 · 0 评论 -
线性回归 linear regression
其实就是对我们的特征x进行加权w再求和罢了。 他的误差计算公式为 那么就是想最小化err(y⏞,y) err(\overbrace{y},y). 我们用矩阵的计算方法,其实可以直接求得 觉得这个推导,吴恩达老师的cs229讲的比林轩田老师讲的好,吴恩达来说用的是 矩阵迹的方法trace()。linear regr原创 2016-08-09 15:07:17 · 733 阅读 · 0 评论 -
logisitic 回归 +极大似然法 + 梯度下降法 (迭代优化)
logistic 回归logistic 回归的Ein E_in 极大似然法梯度下降法所以logistic回归算法实现为logistic回归是分类问题。前面我们讲的分类问题的输出都是 “yes”或者“no”。但是在现实生活中,我们并不是总是希望结果那么肯定,而是概率(发生的可能性)。比如,我们希望知道这个房子在第三个星期被卖出去的概率。那么以前的分类算法就无法使用了,这时logistic 回归原创 2016-08-09 19:05:18 · 3539 阅读 · 0 评论 -
linear regression for classification +随机梯度下降+多分类之logistic回归+多分类之线性分类投票法
将 线性回归 logistic 回归 用在 分类 上面随机梯度法 SGDSGD logistic回归与PLA的关系用logistic回归做多分类问题用线性分类投票法做多分类问题 1对1 one versus one将 线性回归 ,logistic 回归 用在 分类 上面我们回顾一下上节所学习的内容。总共学习了三种线性模型(线性分类,线性回归,logistic 回归),他们的核心都是 他们三原创 2016-08-10 19:39:13 · 2557 阅读 · 0 评论 -
非线性转换
我们之前的课程都是假设数据是线性可分的,那么我们就可以用一条直线将其分开。 比如,想这样 然而现实生活中并不是这样的 像上面的那张图,无论我们用怎样的线性模型都无法将其很好的分开。但是我们发现一个圆可以很好的解决这个问题 他的分类器方程为 那么我们把1,x21x_1^2,x22x_2^2设定为z0z_0,z1z_1,z2z_2,就相当于得到了一条关于z的线性方程。原创 2016-08-11 16:22:38 · 8603 阅读 · 0 评论 -
过拟合的原因+处理方法
过拟合的原因 1. 我们得到的模型g 太复杂。f很小,g 太大,会过拟合 2. 原本的模型(目标函数) f 太复杂 。g达不到f的形式,也会产生过拟合。模型f太复杂,其实也是一种噪声。 3. 数据的 noise 太大。(所以,有问题的数据一定要删除掉,不然模型就会严重错误。就像那次 仓库优化的项目一样) 这种情况下2做的比10好 4. 数据量受限。我们现在举两个例子。 这里,原创 2016-08-11 23:26:45 · 16825 阅读 · 1 评论 -
regularization 规范化(L1,L2等等):加惩罚函数降低过拟合
这称为岭回归一般模型选择最好的惩罚函数L1L2 规范在上一节的课程中,我们讲到 右图用的是10次方程去拟合,左图用的是2次方程去拟合。很显然10次方程发生过拟合现象。那么我们就选择化简模型,将10次模型转化为2次模型。 我们先假设将x域映射到z域的函数Φ(x)\Phi (x)为(对于所有的非线性模型,都存在映射函数Φ(x)\Phi (x)) 那么10次模型和2次模型的表达式分别原创 2016-08-12 12:05:24 · 8208 阅读 · 0 评论 -
验证法:如何选择模型,参数等
简单的验证 single validation这个与以前的想法有些出入交叉验证 cross validation留一法k-fold 交叉验证总结这些知识点以前大部分都知道,就简单记一下。简单的验证 single validation(这个与以前的想法有些出入)我们并不能完全依靠我们的EinE_{in}来评价模型的好坏,一因为仅仅靠EinE_{in}会很容易过拟合 所以,想法就是 留出一部分原创 2016-08-12 15:27:52 · 1633 阅读 · 0 评论 -
svm系列 之 对偶形式解决非线性数据
之前博客续http://blog.csdn.net/mosbest/article/details/52017312 上面的博客讲到,svm线性形式为 只需将上面的表达式转化为 标准的 二次规划形式,输入参数,相应的软件就可以帮我们把最佳解求出来.可是,上面的方程仅仅适用于 线性可分的数据,如果遇到非线性的数据,那么就应该用之前讲的,将x映射到高维的函数上处理,使用映射函数Φ(x)\原创 2016-08-13 20:43:40 · 1099 阅读 · 0 评论 -
svm系列之核函数
kernel svm其实阻碍以上两种svm进行的原因就是因为在处理非线性的情况下我们要把x通过映射函数xPhi x映射到z域里由于是处理非线性所以是将低维度映射到高位可是映射后变量的特征会飞快的增加有的时候可能达到无穷有点极端但是通过核函数连无穷的变量也能够解决由于特征非常多那么ynwTx1y_nwT Phi x1 线性svmzTzzTz对偶的svm二者的计算量就会很大很大很大常见的kernel原创 2016-08-13 23:51:12 · 2185 阅读 · 0 评论 -
svm系列之核函数+软边界
软边界svm一般形式软边界svm的对偶式软边界svm的kernel函数软边界svm一般形式前面Hard-Margin svm 的一个缺点就是 会产生过拟合现象。特别是当使用核函数或者对偶的svm的时候,如果要求必须把数据点都区分的话,就会很任意发生过拟合现象。 由于有的数据是有噪声的,可能还是离群点,如果一定要求所有的点都必须分对的话,即 ,那么就有可能把误差带进去。所以我们想的是,把条件放原创 2016-08-15 10:21:15 · 2277 阅读 · 0 评论 -
soft-svm的理解+logistic 与SVM结合输出概率值+logistic 用到z域
软svm就是L2规范化soft-svm的errsvmerr_svm是err01err_01的上限且svm就是对logistic regression 进行L2处理形式logistic 与SVM结合 用svm输出概率值logistic回归解z域的情况一定要在z域解logistic回归的问题 Kernel Logistic Regression 与svm无关只是借用其kernel的思想软svm就原创 2016-08-15 12:01:51 · 1088 阅读 · 0 评论