Machine Learning|吴恩达 （1）线性回归与逻辑回归【含公式推导】

Machine Learning|吴恩达 公式总结（1）

多元线性回归（Multivariate Linear Regression）

【原课程地址：https://www.coursera.org/learn/machine-learning/home/welcome。本系列笔记只关注课程中涉及的算法公式。因为课程中对许多算法只提及结果不进行过程推导。而本人数学较差，微积分、概率统计这些当初让人伤感的课程现在感觉就仿佛从没学过一样。但通过自己推导过的相关算法过程，尽量在理解清晰的情况下展现记录下来，以供类似我这样数学水平的后来者可以参考。】

申明:
$x_{j}^{(i)}$=第$i^{th}$个训练样本的第j个特征（value of feature j in the $i^{th}$training）
$x^{(i)}$=第$i^{th}$训练样本，含其所有特征（the input (features) of the $i^{th}$ training ）
$m$ = 训练样本的总数（the number of training examples）
$n$ = 特征总数（the number of features）

$x^{(i)}∈R^{(n)};1<j\leq n;1<i\leq m$
方程式：

$$h_{\theta}x^{(i)}=\theta_{0}+\theta_{1}x_{1}^{(i)}+\theta_{2}x_{2}^{(i)}+\theta_{3}x_{3}^{(i)}+\dots+\theta_{n}x_{n}^{(i)}$$
假设（Assume）: $x_{0}^{i}=1;x^{(i)}∈R^{(n+1)}$
方程式的向量表述(vector presentation):
$$h_{\theta}(x)=[\theta_{0} \quad \theta_{1}\quad \dots \quad \theta_{n}]\begin{bmatrix} x_{0} \\ x_{1} \\ \vdots \\x_{n} \end{bmatrix}= \theta^{T}x$$

损失函数（cost function）:

$$J(\theta_{0},\theta_{1},\dots,\theta_{m})=\frac{1}{2m}\sum_{i=1}^{m}(h_{\theta}(x^{(i)})-y^{(i)})^{2}$$

梯度下降公式（Gradient Descent）:

($x_{0}^{i}=1$)

$$\theta_{j}:=\theta_{j}-\alpha \frac{1}{m}\sum_{i=1}^{m}(h_{\theta}(x^{(i)})-y^{(i)})x_{j}^{(i)}$$

偏导推导过程（partial derivative work processes）:

$e.g., \quad [(ax+b)^n]'=n(ax+b)\cdot(ax+b)'=an(ax+b)$

$\frac{∂}{∂\theta_{j}}[(h_{\theta}(x^{(i)})-y^{(i)})^{2}]'=2\cdot(h_\theta(x^{(i)}) - y^{(i)})\cdot\frac{∂}{∂\theta_{j}}(h_\theta(x^{(i)})- y^{(i)})'$
=2⋅(hθ(x(i))−y(i))⋅∂