机器学习基石笔记
文章平均质量分 56
tanyanzimo
这个作者很懒,什么都没留下…
展开
-
11.线性分类模型
在上一讲中,我们了解到线性回归和逻辑斯蒂回归一定程度上都可以用于线性二值分类,因为它们对应的错误衡量(square error, cross-entropy) 都是“0/1 error” 的上界。1, 三个模型的比较1.1 分析Error Function本质上讲,线性分类(感知机)、线性回归、逻辑斯蒂回归都属于线性模型,因为它们的核心都是一个线性score 函数:转载 2015-06-16 13:58:47 · 389 阅读 · 0 评论 -
10.Logistic Regression逻辑斯蒂回归
上一讲是关于线性回归,重点是求解w 的解析方案(通过pseudo-inverse 求解w)。这一讲关注另一个很重要的方法,逻辑斯蒂回归(logistic regression)。林轩田对逻辑斯蒂回归的解释思路和Andrew Ng 还是有明显区别的,都十分有助于我们的理解;但要深究其数学意义,还要自己多钻研。1,逻辑斯蒂回归问题有一组病人的数据,我们需要预测他们在一段时间后患转载 2015-06-10 12:40:17 · 349 阅读 · 0 评论 -
9.线性回归
1, 线性回归问题例如,信用卡额度预测问题:特征是用户的信息(年龄,性别,年薪,当前债务,...),我们要预测可以给该客户多大的信用额度。 这样的问题就是回归问题。目标值y 是实数空间R。线性回归假设: 线性回归假设的思想是:寻找这样的直线/平面/超平面,使得输入数据的残差最小。通常采用的error measure转载 2015-06-07 11:39:04 · 335 阅读 · 0 评论 -
8.噪音和错误
当我们面对的问题不是完美的(无噪音)二值分类问题,VC 理论还有效吗?1,噪音和非确定性目标几种错误:(1) noise in y: mislabeled data; (2) noise in y: different labels for same x; (3) noise in x: error x.将包含噪音的y 看作是概率分布的,y ~ P(y|x)。学习的目标变为转载 2015-06-07 10:24:37 · 660 阅读 · 0 评论 -
5.机器学习的可行性与数据量关系,突破点
1.公式2.公式的转化(寻求无限的M)在平面上将点分为两类的线的数量,输入的数量为N,则线的数量为3.推算假设的数量用假设的集合来代替原公式中的无限大的M得到一个成长函数原创 2015-06-04 11:20:22 · 431 阅读 · 0 评论 -
6.机器学习的一般化理论
1.界函数(bounding function)是指当(最小)突破点为k 时,生长函数m(N) 可能的最大值,记为B(N, k)。显然,当k=1时,B(N, 1) = 1; 当k > N 时,B(N,k) = 2^N; 当k = N 时,B(N,k)=2^N - 1.于是很容易得到Bounding function table:再来填下面那部分的,以B(4,3)原创 2015-06-04 15:20:48 · 303 阅读 · 0 评论 -
4.机器学习的可行性
http://www.douban.com/note/319700228/这个写得不错啊转载 2015-06-04 09:21:00 · 337 阅读 · 0 评论 -
1.简介和基本术语
1.机器学习主要用来提高某一方面的表现或者预测的精准性2.适用于:(1)没有或很难具体定义的问题;(2)具有内在模式,但是这种模式我们并不知道或者很难用编程实现的问题;(3)十分频繁的计算和决策;(4)针对个人,个性化的问题。3.机器学习可以用在生活的各个方面4.机器学习的流程和一些定义5.机器学习与数据挖掘原创 2015-06-01 17:42:21 · 314 阅读 · 0 评论 -
2.感知器学习算法(待修)
感觉自己好像没怎么太懂,下次找个时间再琢磨一下,先转一个感觉笔记写的还不错的。http://www.douban.com/note/319669984/原创 2015-06-01 20:34:40 · 311 阅读 · 0 评论 -
3.机器学习的各个角度
1.从机器学习的输出看:2.(1)监督式学习(supervised learning),给出铜板,同时告知铜板是什么,让电脑去学习; 非监督式学习(unsupervised learning),给出铜板,但不告知铜板是什么,让电脑去学习;又名分群“clustering”,例如把所有的文章分成几个主题。 半监督式学习(semi-super原创 2015-06-02 17:35:24 · 384 阅读 · 0 评论 -
13.过拟合
1,什么是过拟合(overfitting)简单的说就是这样一种学习现象:Ein 很小,Eout 却很大。而Ein 和 Eout 都很大的情况叫做 underfitting。这是机器学习中两种常见的问题。 上图中,竖直的虚线左侧是"underfitting", 左侧是"overfitting”。发生overfitting转载 2015-06-18 10:34:15 · 287 阅读 · 0 评论 -
15.校验validation
一、模型选择问题机器学习的每个模型都有各式各样的参数。即使只是对于二元分类,学习算法上可以选择PLA,LR等;很多学习算法都是iterative的,需要决定迭代次数;可能需要决定每一次迭代走多大,例如梯度下降;或者有很多的transform,例如线性、二次等;同时regularizer又有很多的选择L1/L2;再来regularizer到底要加多强的lamda。况且这些选择是组合起来的,那转载 2015-06-18 16:06:17 · 251 阅读 · 0 评论 -
12.非线性转换
前面的分析都是基于“线性假设“,它的优点是实际中简单有效,而且理论上有VC 维的保证;然而,面对线性不可分的数据时(实际中也有许多这样的例子),线性方法不那么有效。1,二次假设对于下面的例子,线性假设显然不奏效: 我们可以看出,二次曲线(比如圆)可以解决这个问题。接下来就分析如何通过二次曲线假设解决线性方法无法处理的问题,转载 2015-06-18 10:20:46 · 727 阅读 · 0 评论 -
16.三个学习原则和课程总结
一、Occam's Razor奥卡姆剃刀它的哲学意义蛮有名的,比喻剃掉过分的解释。在机器学习里面的意思就是:对训练数据最简单的解释就是最好的。那么问题来了,什么叫做简单的模型和解释;以及为什么确定简单的就是最好的?曾今定义过simple hypothesis:看起来很简单,例如一个大大的圆而不是弯弯曲曲的曲线;只需要少数的参数,圆心和半径就能确定这个hypothesis长什么样子。转载 2015-06-18 16:14:38 · 354 阅读 · 0 评论 -
14.正规化
1,正规化:Regularization发生overfitting 的一个重要原因可能是假设过于复杂了,我们希望在假设上做出让步,用稍简单的模型来学习,避免overfitting。例如,原来的假设空间是10次曲线,很容易对数据过拟合;我们希望它变得简单些,比如w 向量只保持三个分量(其他分量为零)。 图中的优化问题是NP-Hard转载 2015-06-18 10:54:27 · 298 阅读 · 0 评论 -
7.VC界
1.VC定义最简单的理解:d(VC)=k-1完整的定义: 1,VC 维的定义VC Demension: 对于假设空间H,满足生长函数m(N) = 2^N 的最大的N, 记为dvc(H).可知,dvc(H) 比H 的最小突破点k 小1,即 dvc(H) = k-1.2维感知机的VC维是3.转载 2015-06-06 09:37:00 · 470 阅读 · 0 评论