3.1基本形式
线性模型通过学得一个通过属性的线性组合来进行预测
预测函数:
f
(
x
)
=
w
1
x
1
+
w
2
x
2
+
…
…
w
d
x
d
+
b
(
3.1
)
f(x)=w_1x_1+w_2x_2+……w_dx_d+b \quad\quad\quad (3.1)
f(x)=w1x1+w2x2+……wdxd+b(3.1)
写成向量形式
f
(
x
)
=
w
T
x
+
b
(
3.2
)
f(x) = w^Tx + b\qquad (3.2)
f(x)=wTx+b(3.2)
其中
w
=
(
w
1
;
w
2
;
…
…
;
w
d
)
w = (w_1;w_2;……;w_d)
w=(w1;w2;……;wd)
w
w
w和b学得之后,模型就得以确定。
w
w
w直观表达了各属性在预测上的重要程度,因此线性模型具有很好的可解释性。
3.2线性回归
如何确定
w
w
w和b :关键在于衡量
f
(
x
)
f(x)
f(x)和y之间的差别,均方误差是回归问题最常用的性能度量
(
w
∗
,
b
∗
)
=
a
r
g
m
i
n
(
w
,
b
)
∑
i
=
1
m
(
f
(
x
i
)
−
y
i
)
2
=
a
r
g
m
i
n
(
w
,
b
)
∑
i
=
1
m
(
w
x
i
+
b
−
y
i
)
2
(w^*,b^*) = \mathop{argmin}\limits_{(w,b)} \sum_{i=1}^m(f(x_i)-y_i)^2 \\ \qquad\qquad=\mathop{arg min}\limits_{(w,b)}\sum_{i=1}^m(wx_i+b-y_i)^2
(w∗,b∗)=(w,b)argmini=1∑m(f(xi)−yi)2=(w,b)argmini=1∑m(wxi+b−yi)2
基于均方误差最小化的求解模型方法称为最小二乘法,找到一条直线,使所有样本到直线上的欧式距离最小。
求解
w
,
b
w,b
w,b的过程称为参数估计,
E
(
w
,
b
)
=
∑
i
=
1
m
(
w
x
i
+
b
−
y
i
)
E_{(w,b)} = \sum_{i=1}^m(wx_i+b-y_i)
E(w,b)=∑i=1m(wxi+b−yi)的最小化的过程,将
E
(
w
,
b
)
E_{(w,b)}
E(w,b)分别对w,b求导。
∂
E
(
w
,
b
)
∂
w
=
2
(
w
∑
i
=
1
m
x
i
2
−
∑
i
=
1
m
(
y
i
−
b
)
x
i
)
,
(
3.6
)
∂
E
∂
b
=
2
(
m
b
−
∑
i
=
1
m
(
y
i
−
w
x
i
)
)
(
3.7
)
\frac{\partial E_(w,b)}{\partial w} = 2(w\sum_{i=1}^m x_i^2 - \sum_{i=1}^m(y_i-b)x_i),\qquad (3.6)\\ \\ \frac{\partial E}{\partial b}=2(mb - \sum_{i=1}^m(y_i-wx_i))\qquad\qquad \qquad(3.7)
∂w∂E(w,b)=2(wi=1∑mxi2−i=1∑m(yi−b)xi),(3.6)∂b∂E=2(mb−i=1∑m(yi−wxi))(3.7)
3.4线性判别分析
LDA的思想可以用一句话概括,就是“投影后类内方差最小,类间方差最大".
LDA(Linear discriminant analysis)是一种线性学习方法m,思想非常朴素:给定训练集,设法将样例投影到一条直线上,同类的投影点尽可能接近,异类的投影点尽可能远离。对于测试集,同样投影到直线上,根据距离来判断测试样例的类别。
令
X
i
,
μ
i
∑
i
X_i,\mu_i\sum_i
Xi,μi∑i 分别表示
i
∈
(
0
,
1
)
i\in(0,1)
i∈(0,1)类示例的集合、均值向量、协方差矩阵,若将数据投影到直线
w
w
w上,则两类样本的中心在直线上的投影分别为
w
T
μ
0
和
w
T
μ
1
w^T\mu_0和w^T\mu_1
wTμ0和wTμ1;若将所有样本点都投影到直线上,则两类样本的协方差分别为
w
T
∑
0
w
和
w
T
∑
1
w
w^T\sum_0w和w^T\sum_1w
wT∑0w和wT∑1w,直线是一维空间,上述均为实数.