Coursera 斯坦福吴恩达机器学习课程笔记 (1)

看了课程一周后发现忘光了，决定做一个笔记用作复习。如果涉及到侵权问题请联系我，我会立马删除并道歉。

同时，禁止任何形式的转载，包括全文转载和部分转载。如需使用请联系本人 422892137@qq.com。如若发现侵权行为，我学过知识产权法的，嘿嘿

第一周：基础概念和介绍

对机器学习的理解

机器学习现在也没有统一的定义。最浅显易懂的就是赋予计算机不需要得到清晰完整代码就能够通过“自我学习”来完成任务的能力(Arthur Samuel 1959)。这样说依然很抽象，还有一个浅显的例子就是对于一个computer program, 对于给定任务T，这个程序可以通过某些experience E, 使用恰当的measurements P来学习T，并最终达到提高P的效果。

举个例子：

（1）下棋，观看用户下棋就是E，赢得游戏就是T，赢得游戏的时间（或其他衡量）就是P。机器要通过E来完成T任务，并且不断提高P。

（2）spam. 观看用户给邮件贴label（尤其是垃圾邮件）是E，分类垃圾邮件是E，成功分类是P

机器学习算法：

supervised learning

对于output我们有清楚的认知，我们想要什么样的结果（对于input我们有足够的label来标记我们的数据）。比如预测澳大利亚十年后兔子的数量，我们很清楚这会是一个具体的数值。

常见的有回归问题、分类问题（注意分类问题可以有不止0,1两类，例子包括肿瘤预测等）

unsupervised learning

对于input我们是没有label的，我们并不知道这些数据可以被分为多少类。例如给100篇文章分类，我们并不知道他们可以分成多少类，唯一可以做到的是将关键词等类似的文章分为一类。还有的例子包括基因测序等。

cocktail party problem

party中有两个话筒，一个用于讲话，一个用于收音（BGM）。如何使用电脑将人声和BGM分离呢？就可用到无监督学习。

others: reinforcement learning, recommender systems

线性回归

我们将数据分为两类：训练集和验证集

训练集用于训练模型，使用特定的criteria (e.g. cv等)来选定模型。验证集用于验证训练的模型的有效度。

cost function

cost function 是fitted-observed之间差值的距离，优化模型就是通过最小化cost function完成的

m 为训练集数据个数，平方和是为了消除差之间的互相抵消。

下式写作J（θ0，θ1），叫做squared error function, 这是最常见的回归问题的cost function。 

例子：对于简单一元线性回归 y = θ0+θ1x, J（0）就是y = 0

对于简单一元线性回归，左边是模型hθ(x), 右边是cost function J(θ0，θ1)。 我们可以清楚看见J的全局最小值（即h的全局最优解）是出现在这个钟形函数的底部的。通过确定此时的θ0和θ1，我们就能确定最优的hθ(x)。

注意：因为简单一元线性回归的特性，J的全局最小值就等于其局部最小值，这是特殊的。通常我们只能求得J的局部最小值。如下图