作者：非妃是公主
专栏：《机器学习》
个性签：顺境不惰，逆境不馁，以心制境，万事可成。——曾国藩
专栏地址
专栏系列文章
线性回归
提及线性学习，我们首先会想到线性回归。回归跟分类的区别在于要预测的目标函数是连续值。
给定由m个属性描述的样本 ，其中是
x
i
x_i
xi在第
i
i
i个属性上的取值，线性回归（linear regression）试图学得一个通过属性值的线性组合来进行预测的函数：
f
(
x
)
=
ω
1
x
1
+
ω
2
x
2
+
…
+
ω
m
x
m
+
b
f(x)=\omega_1x_1+\omega_2x_2+…+\omega_mx_m+b
f(x)=ω1x1+ω2x2+…+ωmxm+b
一般用向量的形式写成：
f
(
x
)
=
ω
T
x
+
b
f(x)=\pmb{\omega^{T}x}+\pmb{b}
f(x)=ωTx+b
其中
ω
=
(
ω
1
,
ω
2
,
.
.
.
,
ω
m
)
\pmb{\omega}=(\omega_1,\omega_2,...,\omega_m)
ω=(ω1,ω2,...,ωm)
对
w
w
w和
b
b
b分别求偏导，取最小化均方误差的最小值即可。
若
w
w
w是多维的，则
x
x
x也取多维即可。
广义线性回归
线性回归假定输入空间到输出空间的函数映射成线性关系，但现实应用中，很多问题都是非线性的。为拓展其应用场景，我们可以将线性回归的预测值
做一个非线性的函数变化去逼近真实值，这样得到的模型统称为广义线性回归 (generalized linear regression) ：
其中 g ( ⋅ ) g(·) g(⋅)称为联系函数（link function）
说明：求解主要利用反函数思想，将非线性函数转化为线性函数。
logistic回归
逻辑斯蒂回归有很多优点：
1）可以直接对分类可能性进行预测，将y视为样本x作为正例的概率；
2）无需事先假设数据分布，这样就避免了假设分布不准确所带来的问题；3）是任意阶可导的凸函数，可直接应用现有数值优化算法求取最优解。
求解：利用极大似然估计，将问题转化为优化问题，求偏导取得最大值即可。
多分类学习
一对一
一对一拆分示例：
一对其余
多对多
192
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
