作者:非妃是公主
专栏:《机器学习》
个性签:顺境不惰,逆境不馁,以心制境,万事可成。——曾国藩
专栏地址
专栏系列文章
线性回归
提及线性学习,我们首先会想到线性回归。回归跟分类的区别在于要预测的目标函数是连续值。
给定由m个属性描述的样本 ,其中是
x
i
x_i
xi在第
i
i
i个属性上的取值,线性回归(linear regression)试图学得一个通过属性值的线性组合来进行预测的函数:
f
(
x
)
=
ω
1
x
1
+
ω
2
x
2
+
…
+
ω
m
x
m
+
b
f(x)=\omega_1x_1+\omega_2x_2+…+\omega_mx_m+b
f(x)=ω1x1+ω2x2+…+ωmxm+b
一般用向量的形式写成:
f
(
x
)
=
ω
T
x
+
b
f(x)=\pmb{\omega^{T}x}+\pmb{b}
f(x)=ωTx+b
其中
ω
=
(
ω
1
,
ω
2
,
.
.
.
,
ω
m
)
\pmb{\omega}=(\omega_1,\omega_2,...,\omega_m)
ω=(ω1,ω2,...,ωm)
对
w
w
w和
b
b
b分别求偏导,取最小化均方误差的最小值即可。
若
w
w
w是多维的,则
x
x
x也取多维即可。
广义线性回归
线性回归假定输入空间到输出空间的函数映射成线性关系,但现实应用中,很多问题都是非线性的。为拓展其应用场景,我们可以将线性回归的预测值
做一个非线性的函数变化去逼近真实值,这样得到的模型统称为广义线性回归 (generalized linear regression) :
其中 g ( ⋅ ) g(·) g(⋅)称为联系函数(link function)
说明:求解主要利用反函数思想,将非线性函数转化为线性函数。
logistic回归
逻辑斯蒂回归有很多优点:
1)可以直接对分类可能性进行预测,将y视为样本x作为正例的概率;
2)无需事先假设数据分布,这样就避免了假设分布不准确所带来的问题;3)是任意阶可导的凸函数,可直接应用现有数值优化算法求取最优解。
求解:利用极大似然估计,将问题转化为优化问题,求偏导取得最大值即可。
多分类学习
一对一
一对一拆分示例:
一对其余
多对多