【吴恩达系列】machine learning课程week1----机器学习概述/单变量线性回归/凸优化

1. 机器学习

“A computer program is said to learn from experience E with respect to some class of tasks T and performance measure P, if its performance at tasks in T, as measured by P, improves with experience E.”

• 监督学习：回归/分类（已知训练集对应的正确答案）
  • 回归：预测一个连续值，即试图将输入变量和输出用一个连续函数对应起来。参考课程中的房价预测。
  • 分类：预测一个离散值，即试图将输入变量与离散的类别对应起来。参考课程中的癌症恶性和良性预测。
             （支持向量机SVM：让计算机处理无限多特征）
• 非监督学习：聚类（数据集无标签）/ 降维
• 强化学习

2. 单变量线性回归

2.1 模型表示(监督学习问题)

给定训练集，学习函数$h:X\to Y$，使$h(x)$是对应$y$值的“良好”预测因子:
+ 若要预测的目标变量是连续的(ex.预测住房价格)：回归问题
+ 若$y$只能采用少量离散值时(ex.给定居住面积，预测某个住宅是房子还是公寓)：分类问题

单变量线性回归模型：$h_{\theta }(x)={\theta }_0+{\theta }_{1}x$

2.2 代价函数(ex.平方误差函数)

a. 直线方程假设：
       $h_{\theta }(x)={\theta }_0+{\theta }_{1}x$
b. 代价函数定义：
       $J({\theta }_0,{\theta }_1)=\frac{1}{2m}{\sum }_{i=1}^m({\hat{y}}^{(i)}-y^{(i)}{)}^2=\frac{1}{2m}{\sum }_{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2$
with $m=2$
c. 优化目标：
       $\arg mi{n}_{{\theta }_0,{\theta }_1}J({\theta }_0,{\theta }_1)$
⚠️$\frac{1}{2}$用于抵消平方函数的导数项以方便计算梯度下降。

2.3 梯度下降

1. 基本步骤：

${\theta }_j:={\theta }_j-\alpha \frac{\partial }{\partial {\theta }_j}J({\theta }_0,{\theta }_1)$
    step1 : 初始化 ${\theta }_0,{\theta }_1$，比如${\theta }_0=0,{\theta }_1=0$
    step2 : 沿着梯度下降的方向，不断更新${\theta }_0,{\theta }_1$，从而使得$J({\theta }_0,{\theta }_1)$不断减少，最终达到最小（全局或者局部最小）值。

    ⚠️同步更新所有$\theta$值（$J({\theta }_0,{\theta }_1)$在所有$\theta$更新完后重新计算）
    ⚠️代价函数为凸函数：全局极小值

2. 学习率$\alpha$：
    控制每次更新${\theta }_0,{\theta }_1$的幅度。
    $\alpha$太小：容易造成训练时间过长，收敛过慢
    $\alpha$太大：容易造成不收敛，甚至发散

• 梯度下降应用于线性回归：

${\theta }_0:={\theta }_0-\alpha \frac{\partial }{\partial {\theta }_0}J({\theta }_0)={\theta }_0-\alpha \frac{1}{m}{\sum }_{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})$
${\theta }_1:={\theta }_1-\alpha \frac{\partial }{\partial {\theta }_1}J({\theta }_1)={\theta }_1-\alpha \frac{1}{m}{\sum }_{i=1}^m((h_{\theta }(x^{(i)})-y_i)x^{(i)})$

• 批量(batch)梯度下降：
  指的是在梯度下降的每一步中，我们都用到了所有的训练样本。

3. 矩阵基础

• 矩阵的乘法不满足交换律：$A\times B\ne B\times A$
                         满足结合律：$A\times (B\times C)=(A\times B)\times C$
• 矩阵转置：$(A\pm B{)}^T=A^T\pm B^T$
                      $(A\times B{)}^T=B^T\times A^T$

⚠️补充：凸优化 [待完善] 链接

4. 参考资料

csdn笔记
课程翻译