吴恩达机器学习笔记

本文为吴恩达机器学习视频听课笔记，仅记录课程大纲及对于部分关键点、疑难点的理解。
课程链接: 吴恩达机器学习.

说明：这篇博客已经躺在草稿箱里很久了 由于整理公式等耗费大量时间 仅仅梳理了前 7章的内容 后续内容若有时间再做整理

Chapter1 绪论

本章主要介绍了机器学习的定义、算法分类及应用场景。

Chapter2 单变量线性回归

模型表示

• 符号说明

项目	Value
m	Number of training examples
x’s	“input” variable
y’s	“output” variable
(x,y)	one training example
($x^{(i)}$,$y^{(i)}$)	the $i^{th}$ training example

• 监督学习算法工作过程
  

• Linear Regression Model

  $h_{\theta }(x)={\theta }_0+{\theta }_{1}x$

  $\mathrm{J}({\theta }_0,{\theta }_1)=\frac{1}{2m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2$

代价函数

项目	Value
假设函数	$h_{\theta }(x)={\theta }_0+{\theta }_{1}x$
参数	${\theta }_0$, ${\theta }_1$
代价函数	$\mathrm{J}({\theta }_0,{\theta }_1)=\frac{1}{2m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2$
目标	$minimize\mathrm{J}({\theta }_0,{\theta }_1)$

注意：

• 选择合适的${\theta }_0$,和${\theta }_1$使得假设函数表示的直线更好地与数据点拟合，定义为最小化问题
• 代价函数中，系数为$\frac{1}{2}$，目的是在梯度下降时便于求解

梯度下降

（一种可以自动找到使得函数J最小的参数的算法）

1. 定义：
   repeat until convergence{
   ${\theta }_j:={\theta }_j-\alpha \frac{\partial }{\partial {\theta }_j}\mathrm{J}({\theta }_0,{\theta }_1)$        (for j=0 and j=1)
   }
2. 关于α（学习率）
   （1）学习率表示在控制梯度下降时，以多大的幅度更新参数（采用同时更新的方法，即 ${\theta }_0$和${\theta }_1$同时更新）
   （2）if α is too small, gradient descent can be slow
   （3）if α is too large, gradient descent can overshoot the minimum. It may fail to converge, or even diverge.

线性回归中的梯度下降

1. 线性回归模型

   $h_{\theta }(x)={\theta }_0+{\theta }_{1}x$

   $\mathrm{J}({\theta }_0,{\theta }_1)=\frac{1}{2m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2$

2. 梯度下降算法

   repeat until convergence{
   ${\theta }_j:={\theta }_j-\alpha \frac{\partial }{\partial {\theta }_j}\mathrm{J}({\theta }_0,{\theta }_1)$        (for j=0 and j=1)
   }

3. Apply gradient descent to minimize squared error cost function

   求偏导：
   $\frac{\partial }{\partial {\theta }_j}\mathrm{J}({\theta }_0,{\theta }_1)=\frac{\partial }{\partial {\theta }_j}\frac{1}{2m}\sum _{i=1}$