【吴恩达 Machine Learning】 第一课 Week 1 学习笔记

Week 1

1.1 监督学习

1）监督学习

• $x$ to $y$ mappings
• learns from being given “right anwsers”

2）回归 regression

• predict a number
• infinitely many possible outputs
• 预测连续值的输出，例如预测房价

3）分类 classification

• predict class/category (number or non number)
• small number of possible outputs
• 预测离散值输出，例如判断肿瘤是良性还是恶性
• 拟合出一个boundary

1.2 无监督学习

1）无监督学习

data only comes with inputs $x$, but not output labels $y$

find structure in the data

2）聚类算法 clustering

group similar tata points together

3）异常检测 anomaly detection

find unusual data points

4）降维 dimensionality reduction

compress data using fewer numbers

2.1 线性回归

1）一些符号表示

训练集 training set

$x$：输入变量，特征(feature)，输入特征

$y$：输出变量，目标(target)变量，即训练集中的真实值

$m$：训练样本总数

$(x,y)$：单个训练样本

$(x^{(i)},y^{(i)})$：第i个训练样本

$\hat{y}$：y的估计或预测，即模型的输出

$functionf$：模型model

$X$：输入，输入特征

2）线性回归

$f(x)=f_{w,b}(x)=wx+b$

$w,b$：参数parameter，参数coefficient，权重weight

$w$：斜率slope

$b$：截距intercept

2.2 代价函数

• 如何找到$w、b$使得尽可能多的训练示例$x^{(i)}、y^{(i)}$的预测值$\hat{y}$接近真实值$y$？
• 如何衡量一条直线与训练数据的拟合程度？
• 线性回归的目标：找到参数$w$和$b$使得成本函数$J$最小。

1）Cost Function(squared error cost function)

• 除以$m$：为了避免代价函数随着数据集规模变大而增加
• 除以$2$：后续求导数可以与平方的2消去

2）代价函数可视化

（1）只有一个参数的代价函数

（2）有两个参数的代价函数

① 3D图

② 等高线图

2.3 梯度下降

梯度下降可以最小化代价函数。

初值的不同可能会得到两个不同的结果，即梯度下降不一定得到全局最优解。

局部最小值local minima

学习率learning rate：通常是介于$(0,1)$之间的一个正数，控制梯度下降的步幅

重复直至算法收敛convergence，即$w,b$不再发生较大的变化

同时更新两个参数

偏导数对梯度下降的影响：

偏导数用来计算当前参数对应代价函数的斜率，导数为正则$w$减小，导数为负则$w$增大，通过这样的方式可以使整体向$w=0$收敛。

学习率 $\alpha$对梯度下降的影响：

如果梯度下降到局部最小值之后，再次进行梯度下降将不会发生变化，因为偏导数为0。

即使学习率不发生变化，也能够梯度下降到最小值

凸函数convex function：局部最小值是全局最小值

batch gradient descent

梯度下降的每一步中，我们都查看所有的训练示例（整批训练示例），而不仅仅是训练数据的一个子集