线性模型
- 给定 n n n维输入 x = [ x 1 , x 2 , . . . , x n ] T x = [x_1,x_2,...,x_n]^T x=[x1,x2,...,xn]T
- 线性模型有一个n维权重和一个标量偏差
w = [ w 1 , . . . , w n ] T ， b w = [w_1,...,w_n]^T， b w=[w1,...,wn]T，b - 输出是输入的加权和
y = ∑ i = 1 n w i x i + b y=\sum_{i=1}^nw_ix_i+b y=∑i=1nwixi+b - 向量版本： y = < w , x > + b y=<w, x> + b y=<w,x>+b
线性模型可看作单层NN
衡量预估质量
- 比较真实值和预估值，例如房屋售价和估价
- 假设
y
y
y 是真实值，
y
^
\hat{y}
y^ 是估计值，计算平方损失：
ℓ ( y , y ^ ) = 1 2 ( y − y ^ ) 2 ℓ(y, \hat{y})=\frac{1}{2} (y-\hat{y})^2 ℓ(y,y^)=21(y−y^)2
参数学习
- 训练损失
- 最小化损失来学习参数
- 将偏差加入权重
- 损失是凸函数，所以满足最优解
总结
- 线性回归是对n维输入的加权，外加偏置
- 使用平方损失来衡量预测值和真实值的差异
- 线性回归有显示解
- 线性回归可以看做是单层神经网络
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
