昨晚写完逻辑回归准备写感知机时,突然想到了两个问题,感知机就停下笔来。第一个问题是:我说了不管是分类还是回归,都是要对
p(y|x)
p
(
y
|
x
)
进行建模,也说了,线性回归是
N(y|wTx,σ)
N
(
y
|
w
T
x
,
σ
)
,逻辑回归是
Ber(y|sigm(wTx))
B
e
r
(
y
|
s
i
g
m
(
w
T
x
)
)
。也通过极大似然估计出了模型参数,一切好像都捋顺了。但是,突然我楞一下,模型呢?输入输出是什么样的关系?难道要我拿着输入去输进高斯分布,伯努利分布里吗?
其实这两个算法的模型我们是知道的。线性回归就是
y=wTx
y
=
w
T
x
嘛,逻辑回归就是
y=sigm(wTx)
y
=
s
i
g
m
(
w
T
x
)
嘛。可是这两个模型表示形式是怎么来的呢?
肯定是什么什么公式等式一步一步推到了这个模型形式吧?
就在我苦苦徘徊之际,灵光一闪。期望!
对,就是期望!其实我们要得到的是什么?不就是我 有一个输入的时候,你给我一个输出吗?那这个输出怎么得到呢?那线性回归举例,输出
y
y
是以为均值,以
σ2
σ
2
为方差的高斯分布啊?对不对?那高斯分布的期望的什么?说到这里我都笑了,均值啊!高斯分布的期望是它的均值啊!这里的均值是什么?不就是
wTx
w
T
x
。逻辑回归也是一样的道理。所以,当有一个输入进模型的时候,其实我们输出是什么?是期望,是
E[y]
E
[
y
]
,也就是
yp(y)
y
p
(
y
)
.
这个是我想到的,我的理解,没有从哪本书上看到过,因为好像大家都默认线性回归就是这个样子,逻辑回归就是那个样子。估计参数的时候把极大似然函数掏了出来。没有说模型为什么是现在这个样子。我的解释就是期望。所以我的“概率-建模“大法到这里还是对的!
机器学习--模型为什么是这个样子-期望.
最新推荐文章于 2022-12-20 21:38:39 发布