连续数据 —— 回归
离散数据 —— 分类
文章目录
线性回归
建模的过程实际就是找参数a、b两个变量的值。
以房屋价格
为例考虑两个特征居室数
和房屋面积
。
- 模 型 h θ ( x ) 的 第 一 项 可 以 看 成 是 θ 0 x 0 , 只 不 过 使 得 x 0 恒 为 1 。 模型h_\theta(x)的第一项可以看成是\theta_0x_0,只不过使得x_0恒为1。 模型hθ(x)的第一项可以看成是θ0x0,只不过使得x0恒为1。 这 样 可 令 参 数 向 量 为 θ → = [ θ 0 , θ 1 , θ 2 ] , x → = [ 1 , x 1 , x 2 ] 。 可 推 h θ ( x ) = θ T x 这样可令参数向量为\overrightarrow{\theta}=[\theta_0,\theta_1,\theta_2],\overrightarrow{x}=[1,x_1,x_2]。可推h_\theta(x)=\theta^Tx 这样可令参数向量为θ=[θ0,θ1,θ2],x=[1,x1,x2]。可推hθ(x)=θTx
- 模 型 h θ ( x ) : x 是 样 本 , θ 是 要 估 计 出 的 参 数 。 我 们 建 模 的 主 要 工 作 就 是 根 据 x 1 , x 2 估 算 出 合 理 的 θ 0 , θ 1 , θ 2 。 模型h_\theta(x):x是样本,\theta是要估计出的参数。我们建模的主要工作就是根据x_1,x_2估算出合理的\theta_0,\theta_1,\theta_2。 模型hθ(x):x是样本,θ是要估计出的参数。我们建模的主要工作就是根据x1,x2估算出合理的θ0,θ1,θ2。
多个变量的情形就是增加样本 x x x的维度(特征个数)
那么,实际的值为估测值
+误差
y
(
i
)
=
θ
T
x
(
i
)
+
ε
(
i
)
y^{(i)}=\theta^Tx^{(i)}+\varepsilon^{(i)}
y(i)=θTx(i)+ε(i)
误
差
ε
(
i
)
(
1
≤
i
≤
m
)
是
独
立
分
布
的
‾
,
服
从
均
值
为
0
,
方
差
为
某
定
值
σ
2
的
高
斯
分
布
‾
。
误差\varepsilon^{(i)}(1\le i \le m)是\underline{独立分布的},服从均值为0,方差为某定值\sigma^2的\underline{高斯分布}。
误差ε(i)(1≤i≤m)是独立分布的,服从均值为0,方差为某定值σ2的高斯分布。原因:中心极限定理
似然函数
目标函数(损失函数):
J
(
θ
)
J(\theta)
J(θ),预测值 - 实际值
的平法
做累加
,这不是最小二乘
(假定服从高斯分布
且认为样本是独立的
使用最大似然估计
就可以得出结论)。
聊聊“假设”
θ \theta θ 的求解过程
计算最优解
半正定为凸函数
我们希望参数值不要太大。
- L1正则——LASSO——高阶项系数越来越趋近于0,表示特征选择。
- L2正则——Ridge
- 二者结合Elastic-Net
机器学习与数据使用
十折交叉验证
:将数据分成十份,9份作为训练数据,1份作为验证数据。这样的验证可以做10次,再取10次的平均结果。
Moore-Penrose广义逆矩阵(伪逆)
- 如果X是可逆矩阵: X θ = y ⇒ θ = X − 1 y X\theta=y \Rightarrow \theta = X^{-1}y Xθ=y⇒θ=X−1y
- 如果X不可逆矩阵: X θ = ( X T X ) − 1 ⋅ X T y X\theta=(X^TX)^{-1}·X^Ty Xθ=(XTX)−1⋅XTy
梯度下降算法
实践中使用最多的mini-batch但通常简称SGD
不建议用回归做分类问题:
线性回归在很多场景下比较差:
Logistic回归
回归参数估计
参数迭代,不断地得到参数值(可以写代码了)
对数线性模型
扩展知识点 损失函数
- {-1,1}形式更漂亮
复习:指数族 - 指数族概念的目的,是为了说明广义线性模型Generalized Linear Models
- 凡是符合指数族分布的随机变量,都可以用GLM回归分析