1.吴恩达--神经网络和深度学习--单变量线性回归

1.Supervised Learning–监督学习:

ps:我们用m表示训练集的规模或者训练样本的数量
why is deep learning taking off?
(1)being able to train a big enough neural network
(2)Huge amount of labeled data
2.单变量线性回归:
(1)模型描述:
Supervised Learning:Given the ‘right answer’ for each example in the data(已知了每个数据的正确答案)
Regression Problem:Predict real-valued output，l另一种回归问题，被称为分类问题，用来预测离散值的输出。
房价预测模型:

模型具体化以及单变量线性回归模型引入:

代价函数:
(1)引入:
思想:


–上述代表代价函数的具体形式，m代表训练集或者样本数量，i代表第i个样本。即求得使min式最小化对应的参数。
即问题即目标如下:

自动找到使得函数J最小的算法–梯度下降法(gradient descent):
(1)概述:

(2)原理:

其中α代表学习率，即梯度下降时我们迈出多大的步子。特例图示:当仅有一个参数时,对应为:

初始点在右侧曲线的右上角的紫色的点,然后第一次斜率很大，所以下降速度较快,然后逐步变慢，直到达到局部最优点。

线性回归算法:(结合梯度下降算法和平方代价函数)
(1)概述基本知识:

求得偏导数代入后为:

而线性回归的代价函数往往是一个凸函数，如下图所示: