吴恩达机器学习笔记

一、什么是机器学习
机器学习是非计算机开发的一项新功能，如今，它涉及工业和基础科学中的许多领域。
Arthur Samuel对机器学习的定义：在没有有明确设置的情况下，使计算机具有学习能力的研究领域。（跳棋程序）
Tom:一个适当的学习问题定义如下:计算机程序从经验E中学习解决某一项任务T进行某一性能度量P，通过P测定在T上的表现因经验E而提高。
二、监督学习
监督学习是指我们给算法一个数据集其中包含了正确答案，例:也就是说我们给它一个房价数据集在这个数据集中的每个样本，我们都给出正确的价格，即这个房子的正确卖价，算法的目的就是给出更多的正确答案。(回归问题)
回归就是我们设法预测连续的属性。
分类问题
三、无监督学习
无监督学习算法可以把数据分为两个不同的簇，这就是聚类算法。
无监督学习是一种学习机制，给算法大量的数据，要求它找出数据的类型结构。
四、模型描述
(x^(i)，y(i))中的i只是训练集的一个索引，指的是这个表格中的第i行。
假设函数的作用是把房子的大小最为输入变量，比如你的朋友想出售的新房子的大小，把它作为x的值，而它会试着输出相应房子的预测y值，h是一个引导从x得到y的函数，这个函数叫假设函数。
五、代价函数
代价函数也被称为平方误差函数，有时也被称为平方误差代价函数。
梯度下降是很常用的算法，它不仅被用在线性回归上，还被广泛应用于机器学习的众多领域。
特征缩放
目的：保证特征处于相似的尺度上，有利于加快梯度下降算法运行速度，加快收敛到全局最小值。
梯度下降法使用下面的公式不断更新w和b。
如果全手动实现，偏导这部分的公式是自己预先计算然后实现到代码中的。形象地说，偏导的部分就是每次下坡时走最快的方向，只要如此多次迭代，最终都会使代价函数下降到最低点。
α是学习速率（learning rate），为了确保每次更新的幅度不会太大（否则权重会在局部最优点附近来回振荡，增加迭代次数）
教学中用了等高图来展现最后的结果。梯度下降的方式：越接*最低点，|斜率|越小，导数项也就越小，每次移动的步伐就会变小；所以，无需降低α的值来控制步伐。
为什么向下凹进去的函数反而叫凸函数？
不同的视角会看见不同的形状，从上向下看，这是个凸的，而从下往上看，这又是个凹的；因为卓里奇是北半球人，我们也是北半球人，所以我们采用卓里奇的定义（上凸函数是凹函数，下凸函数是凸函数），而我们的课本往往采用相反的定义，可能是为了与汉字形状保持一致，容易直观理解；它只存在全局最优解，不存在局部最优解的情况。