coursera Machine Learning Week 1学习笔记

最近开始在coursera上学习其著名的公开课程Machine Learning,特此用这一系列的博客来记录下自己的学习过程.

Part 1:Introduction

    由于只是一个介绍,也没有讲什么很特别的内容,有价值的地方就3个.

    1.Machine Learning的定义:A computer program is said to learn from experience E with respect to some task T and some performance measure P if its performance on T, as measured by P, improves with experience E.这段英文有点绕...翻译一下就是对于一个任务T,有一个指标P能够度量该任务完成的怎么样,而如果一个程序能够从一些以往的经验E中学习,并且通过该学习能够提高其对于任务T的指标P,那么该程序就可以算作是机器学习.或者去掉那些T啊P的就是说,一个程序在学习过人为给出的训练集之后能够提高它解决一个特定问题的能力.

    2.Supervised Learning(监督性学习):简单的来说就是给出的训练集中既包含属性,又包含最后的结果.其显著的特征就是预测某个目标属性的值或者其类标号.由此分为数值预测(regression)和分类(classify)

    3.Unsupervised Learning(非监督性学习):与监督性学习相比,非监督性学习没有一个要预测的目标属性,程序要做的就是把给出的数据中具有较为接近属性的元组合并为一类,也称为聚类.

Part 2:Linear Regression with One Variable

    什么是单变量的线性回归？简单的来说就是给出如下图中的红色的（x，y）对，然后计算出能最好的代表这些（x，y）对的线性函数y=kx+b。

    （这张图片来源于维基百科）

    视频中以科学的方法给我们构建了对于单变量线性回归的数学模型。

    首先，我们把需要拟合的直线记为假设函数(hypothesis function)：

    看起来没有什么不同，不是么，只是把参数的符号变了一下而已。那么接下来，我们应该如何来估计拟合出来的直线对于原来的数据集有多匹配呢？

    我们可以换个角度来想，我们可以计算拟合出来的直线在原来的x值上做出的预测y'，偏离真正的y的距离的平方，这个值就可以表示拟合的直线在x值处产生的误差，然后对所有的数据集中的x值进行这样的计算，再把所得的结果累加后除以x的个数m，我们就可以得到比较好的一个能够衡量拟合的直线是否足够接近给出的数据集的值，具体的公式如下：

    是不是感觉很熟悉，其实就是一个方差的公式，至于为什么要除以2，这是为了消去后面求导时由于平方而出现的2。

    于是我们就可以把我们的目标变为找到这样的参数θ0和θ1，使得J(θ0，θ1)的值最小。在这里我们可以使用梯度下降法（gradient descent），梯度下降法的基本思想就是每次往J（θ0，θ1）的值减少幅度最大的方向(即梯度方向)去走一小步,更新下θ0和θ1,然后重复,直到J（θ0，θ1）的值不变(到达了局部最小点)。

而对于我们当前的J（θ0，θ1）来说，它的分布情况是这样的：

所以说它不存在局部的最小点，只有一个全局最小值点，所以我们可以直接认为把用梯度下降法得到的参数θ0，θ1就是使得J（θ0，θ1）最小的参数。

具体的公式如下：

    如果把对应的偏导求解出来就是：

    这里的：=相当于编程语言的=，即赋值为。α为学习率（Learning Rate），用于控制更新时每一步走多远。

   

Part 3:Linear Algebra Review

    这部分主要介绍了一些线性代数的基本知识.好吧,我承认我偷懒直接跳过了这部分...