1、基本形式
f
(
x
)
=
w
1
x
1
+
w
2
x
2
+
.
.
.
+
w
d
x
d
+
b
f(x)=w_1x_1+w_2x_2+...+w_dx_d+b
f(x)=w1x1+w2x2+...+wdxd+b
其中d个属性描述示例x,
x
i
x_i
xi是x在第i个属性上的取值,w为权重，b为偏置值
一般用向量形式写成
f
(
x
)
=
w
T
x
+
b
f(x)=w^Tx+b
f(x)=wTx+b
w和b学得之后，模型就可以确定
线性模型形式简单，易于建模
2、线性回归(Linear Regression)
概括的说，线性模型就是对输入特征加权求和，在加上一个偏置项常熟，以此进行预测
定义：
线性回归通过一个或多个自变量与因变量之间进行建模的回归分析。
预测值与真实值之间会有一定的误差，如：
预测房子的价格，这个是单变量。
线性回归试图学得
f
(
x
i
)
=
w
x
i
+
b
,
使
得
f
(
x
i
)
≈
y
1
f(x_i)=wx_i+b,使得f(x_i)\approx y_1
f(xi)=wxi+b,使得f(xi)≈y1
用均方误差来衡量
f
(
x
)
与
y
f(x)与y
f(x)与y之间的差别，让均方误差最小化
(
w
,
b
)
=
a
r
g
m
i
n
∑
i
=
1
m
(
f
(
x
i
)
−
y
i
)
)
2
(w,b)=arg min\sum_{i=1} ^m(f(x_i)-y_i))^2
(w,b)=argmini=1∑m(f(xi)−yi))2
均方误差的几何意义是欧式距离。在线性回归中，最小二乘法就是试图找到一条直线，使所有样本到直线上的欧氏距离之和最小.
求解
E
(
w
,
b
)
=
∑
i
=
1
m
(
y
i
−
w
x
i
−
b
)
2
E_{(w,b)}=\sum_{i=1}^m(y_i-wx_i-b)^2
E(w,b)=∑i=1m(yi−wxi−b)2最小化的过程，称为线性回归模型的最小二乘"参数估计" (pameter estimation).分别对w和b求导
然后令上两式等于0，则求得
3、对数几率回归(用于分类任务）
应用场景：
sigmoid函数
扫一扫
4105
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
