机器学习 算法基础 二 回归

连续数据 —— 回归
离散数据 —— 分类

线性回归

建模的过程实际就是找参数a、b两个变量的值。

以房屋价格为例考虑两个特征居室数和房屋面积。

• $模型h_{\theta }(x)的第一项可以看成是{\theta }_0{x}_0，只不过使得x_0恒为1。$$这样可令参数向量为\overrightarrow{\theta }=[{\theta }_0,{\theta }_1,{\theta }_2],\overrightarrow{x}=[1,x_1,x_2]。可推h_{\theta }(x)={\theta }^{T}x$
• $模型h_{\theta }(x)：x是样本，\theta 是要估计出的参数。我们建模的主要工作就是根据x_1,x_2估算出合理的{\theta }_0,{\theta }_1,{\theta }_2。$

多个变量的情形就是增加样本$x$的维度（特征个数）

那么，实际的值为估测值+误差
$$y^{(i)}={\theta }^T{x}^{(i)}+{\epsilon }^{(i)}$$
$误差{\epsilon }^{(i)}(1\le i\le m)是\underline{独立分布的}，服从均值为0，方差为某定值{\sigma }^2的\underline{高斯分布}。$原因：中心极限定理

---

似然函数

目标函数（损失函数）：$J(\theta )$，预测值 - 实际值的平法做累加，这不是最小二乘（假定服从高斯分布且认为样本是独立的使用最大似然估计就可以得出结论）。

---

聊聊“假设”

---

$\theta$ 的求解过程

计算最优解

半正定为凸函数



我们希望参数值不要太大。

• L1正则——LASSO——高阶项系数越来越趋近于0，表示特征选择。
• L2正则——Ridge
• 二者结合Elastic-Net
  
  

---

机器学习与数据使用

十折交叉验证：将数据分成十份，9份作为训练数据，1份作为验证数据。这样的验证可以做10次，再取10次的平均结果。

---

Moore-Penrose广义逆矩阵（伪逆）

• 如果X是可逆矩阵：$X\theta =y\Rightarrow \theta =X^{-1}y$
• 如果X不可逆矩阵：$X\theta =(X^{T}X{)}^{-1}\cdot X^{T}y$

---

梯度下降算法

实践中使用最多的mini-batch但通常简称SGD






不建议用回归做分类问题：

线性回归在很多场景下比较差：

Logistic回归

回归参数估计

参数迭代，不断地得到参数值（可以写代码了）

对数线性模型

扩展知识点 损失函数

• {-1,1}形式更漂亮
  
  复习：指数族
• 指数族概念的目的，是为了说明广义线性模型Generalized Linear Models
• 凡是符合指数族分布的随机变量，都可以用GLM回归分析

广义线性模型GLM

Softmax回归