1.线性回归
学得
f
(
x
i
)
=
ω
T
x
i
+
b
，
使
得
f
(
x
)
≃
y
i
f(x_{i})=\omega ^ T x_{i} + b，使得f(x)\simeq y_{i}
f(xi)=ωTxi+b，使得f(x)≃yi
目标
拟合数据
loss
均方误差
----->目标
（
ω
∗
,
b
∗
）
=
arg min
(
ω
,
b
)
∑
i
=
1
m
(
f
(
x
i
)
−
y
i
)
2
（\omega^*, b^*）= \argmin_{(\omega,b)} \sum_{i=1}^{m} (f(x_{i})-y_{i})^2
（ω∗,b∗）=(ω,b)argmini=1∑m(f(xi)−yi)2
最小二乘法求解。
多元线性回归
学得
f
(
x
i
)
=
ω
T
x
i
+
b
，
使
得
f
(
x
)
≃
y
i
f(\bm{x_{i}})=\bm{\omega} ^ T \bm{x_{i}} + b，使得f(x)\simeq y_{i}
f(xi)=ωTxi+b，使得f(x)≃yi
相较前者，属性个数进行了扩展。
计算与前者方法类似
推导西瓜书P55
3.对数线性回归与广义线性模型
对数线性回归
f
(
x
)
=
e
ω
T
x
+
b
f(\bm{x})=e^{\bm{\omega} ^ T \bm{x} + b}
f(x)=eωTx+b
形式上仍是线性回归
对y进行了映射
ln
f
(
x
)
=
ω
T
x
+
b
\ln f(\bm{x})=\bm{\omega} ^ T \bm{x} + b
lnf(x)=ωTx+b
广义线性模型
更一般地，考虑单调可微函数g(.)，令
f
(
x
)
=
g
−
1
(
ω
T
x
+
b
)
f(\bm{x})=g^{-1}(\bm{\omega} ^ T \bm{x} + b)
f(x)=g−1(ωTx+b)
对数几率回归
也称逻辑回归 一般简称LR即在表示对数几率回归；
虽然后面接着回归，实为分类模型。
对数几率函数
希望利用上述模型进行分类，
—>使用单位跃迁函数
但是其不连续
—>对数几率函数（sigmod函数的重要代表）
y
=
1
1
+
e
−
z
y = \frac{1}{{1+e^{-z}}}
y=1+e−z1
表现形式
y = 1 1 + e ω T x + b y = \frac{1}{{1+e^{\bm{\omega} ^ T \bm{x} + b}}} y=1+eωTx+b1
----->
ln
y
1
−
y
=
ω
T
x
+
b
\ln \frac{y}{1-y} = \bm{\omega} ^ T \bm{x} + b
ln1−yy=ωTx+b
具体推导西瓜书P59
loss
因其使用极大似然法进行计算，
最大化“对数似然”
（加了对数，是为了0-1之间对数变化极大，希望使得loss大；后续求导比较方便）
利用牛顿法求解
补充
线性模型的多分类（投票等）西瓜书P63
应该有所欠缺
467
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
