机器学习吃瓜教程打卡班第三章
线性模型基本形式
f
(
x
)
=
w
T
x
+
b
f(\boldsymbol{x})=\boldsymbol{w}^{\mathrm{T}} \boldsymbol{x}+b
f(x)=wTx+b
其中
w
=
(
w
1
;
w
2
;
.
.
.
;
w
d
)
w= (w_1;w_2;...;w_d)
w=(w1;w2;...;wd),通过学习确定
w
w
w和
b
b
b,从而确定模型。
线性回归
线性回归试图学得
f
(
x
i
)
=
w
x
i
+
b
, 使得
f
(
x
i
)
≃
y
i
f\left(x_i\right)=w x_i+b \text {, 使得 } f\left(x_i\right) \simeq y_i
f(xi)=wxi+b, 使得 f(xi)≃yi
手写计算过程如下:
3.3对数几率回归
其主要原理:在线性模型的基础上套一个映射函数来实现分类功能。
损失函数的极大似然估计
二分类线性判别分析
主要思想,通过投影
- 让异类样本尽可能远
- 同类样本尽可能小