机器学习之回归算法

1.一元线性回归

输入xi yi
预测值 f(xi) = wxi + b 使f(xi) 接近yi
$$(w,b)=argmin\sum _{i=1}^n(f(xi)-yi{)}^2$$
注：基于均方误差最小化来进行模型求解成为最小二乘法
上式也可以使用误差正态分布来推算出公式
那对上式分别对w b求导，导数为零极为极值点。此时就可以求出w,b
$$\alpha E/\alpha w=2(w\sum _{i=1}^n(xi{)}^2-\sum _{i=1}^n(yi-b)xi)$$
$$\alpha E/\alpha b=2(mb-\sum _{i=1}^n(yi-wxi))$$
令式都等于零，连立方程即可求出w, b

2.多元线性回归

基本原理和一元线性一致，

样本是由d个属性描述。即一元线性回归xi表示一个样本。而多元就是xi表示的是一个向量。

$$f(xi)=w^{T}xi+b$$
为了方便计算，将b放入w中 也就是w’ = (w;b) 相应的xi扩充一个1的列
那可以得到：
$$w^{\prime }=argmin(y-Xw{)}^T(y-Xw)$$
对w进行求导得到：
$$\alpha E/\alpha w=2X^T(Xw-y)$$
如$$X^{T}X$$满秩，则可以得到：
$$w=(X^{T}X{)}^{-1}(X^{T}y)$$
如果不是满秩，因为变量和样例数往往不是相同的。通常引入正则化。

3.逻辑回归

逻辑回归其实可以理解为分类。
sigmod函数：
$$g(x)=1/(1+e^{-z})$$

输入值映射到[-1， 1]


分类任务：

整合之后（而分类情况 y只有1和0两种情况）：

也就是求取似然函数：

由于惩罚求起来比较困难，转为对数似然成为加法：

由于需要求最大值，故转换为梯度下降任务 J = -(1/m)*l
对该式子求导得到导数：

参数更新：