ml学习笔记
文章平均质量分 60
JustThinker
这个作者很懒,什么都没留下…
展开
-
监督学习与非监督学习
出于对ml的兴趣,最近开始了对ml的学习,正在跟着 coursera学习ml的基础知识,在这里做一个笔记。 监督学习和非监督学习是两个基础的概念,但个人感觉并不是很简单,总有些容易混淆的感觉。 监督学习:监督学习从训练数据(training data)集合中学习模型,对测试数据(test data)进行预测。监督学习的目的在于学习一个由输入到输出的映射,即找到这样一个模型(又称为原创 2016-09-21 17:27:04 · 1129 阅读 · 0 评论 -
多特征线性回归
一,单一特征线性回归 在NG的ml视频中举的是房价的例子,在这里我们也同样以房价为例: 在这个例子中只有房子面积x(Size)对房价(Price)有影响,如图所示,我们就可以写成图中的关系式,θ1为面积x特征的系数,θ0表示额外一个系数。二,多特征线性回归 当有很多因素来决定房价的时候,如图 我们就需要更多的未知数和系数来表示结果,在这之前需要普及一些表达式的含义,如图 n表示影响因素原创 2016-09-21 20:55:29 · 3002 阅读 · 0 评论 -
代价函数
一,什么是代价函数 我在网上找了很长时间代价函数的定义,但是准确定义并没有,我理解的代价函数就是用于找到最优解的目的函数,这也是代价函数的作用。二,代价函数作用原理 对于回归问题,我们需要求出代价函数来求解最优解,常用的是平方误差代价函数。比如,对于下面的假设函数: 里面有θ0和θ1两个参数,参数的改变将会导致假设函数的变化,比如: 现实的例子中,数据会以很多点的形式给我们,我们想要解决回归原创 2016-10-19 21:09:30 · 53653 阅读 · 22 评论 -
梯度下降法
上一次说到代价函数,代价函数的作用就是找到最优的参数使假设函数与实际值相差最小。而梯度下降法(Gradient Descent)就是找到最优参数的方法之一。一,算法思想1.从参数的某一个(组)值开始,比如从θ0=0和θ1=0开始。2.保持该(组)值持续减小,如果是一组值就要保证他们同步更新,直到找到我们希望找到的最小值。过程如图,就像下山一样,从一点开始,找到最快的方法下山到最低点,在你不会摔原创 2016-10-25 13:37:25 · 1118 阅读 · 2 评论 -
特征缩放
一,特征缩放定义特征缩放是用来标准化数据特征的范围。二,特征缩放的作用及原理特征缩放是针对多特征情况的。当有多个特征向量的时候,如果其中一个变化范围比较大,根据上次所说的多特征梯度下降法算法可以知道,该特征向量的参数可能会变化范围很大,从而主导整个梯度下降的过程,使得整个收敛轨迹变得复杂,让收敛的时间更长。就像下图所示: 因此,我们可以将所有特征向量的变化范围维持在一个标准化原创 2016-12-04 13:33:53 · 9267 阅读 · 2 评论 -
正规方程
一,什么是正规方程在前面我们学习了使用梯度下降法来计算参数最优解,其过程是对代价函数相对于每个参数求偏导数,通过迭代算法一步一步进行同步更新,直到收敛到全局最小值,从而得到最优参数值。而正规方程则是通过数学方法一次性求得最优解。其主要思想是利用微积分的知识,我们知道对于一个简单的函数,我们可以对于其参数求导,并将其值置为0,这样就可以直接得到参数的值。就像就像下面这样: 但是现在的问原创 2016-12-10 15:36:23 · 17233 阅读 · 1 评论