机器学习——线性回归/逻辑回归/神经网络-Octave

一、线性回归（一元）

$$h_{\theta }(x)={\theta }^{T}x={\theta }_0+{\theta }_{1}x$$
截距 ${\theta }_0$ 和斜率 ${\theta }_1$ 决定一条直线。

1. 成本函数

线性回归的损失函数采用最小二乘法：以估计值与观测值的平方和作为成本函数
$$J({\theta }_0,\theta 1)=\frac{1}{2m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2$$
目标是找到使成本函数最小的$\Theta$。

2. 最小化成本函数

2.1 梯度下降算法

$${\theta }_j:={\theta }_j-\alpha \frac{\partial }{\partial {\theta }_j}J({\theta }_0,\theta 1)，j=0,1$$
其中 $J$为成本函数；$\alpha$ 为学习率。

2.2 多变量梯度下降

$${\theta }_j:={\theta }_j-\alpha \frac{1}{m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})x_j^{(i)},j:=0\dots n,x_0^{(i)}=1$$

2.3 正态方程(不适合特征太多的情况)

$$\theta =(X^{T}X{)}^{-1}{X}^{T}y$$
前提： $X^{T}X$ 可逆；
不可逆的情况：特征过多 ($m\le n$) 或者存在冗余要素（变量之间存在线性相关）。

二、逻辑回归 (Logistic Regression)

$$g(z)=\frac{1}{1+e^{-z}},z={\theta }^{T}x,h_{\theta }(x)=g({\theta }^{T}x)$$
其中 $h_{\theta }(x)$ 计算输出为1的概率。

1. 成本函数

• 如果采用类似线性函数的误差平方和表示成本函数：
  J ( θ 0 , θ 1 ) = 1 2 m ∑ i = 1 m ( h θ ( x ( i ) ) − y ( i ) ) 2 = 1 2 m ∑ i = 1 m ( 1 1 + e − Θ T x ( i )