字节跳动AI LAB面经(CV)
字节 算法实习生面经
字节/腾讯算法岗暑期实习面经分享
字节跳动抖音算法实习生面经
20200328字节跳动计算机视觉算法实习生-AI lab
字节跳动算法工程师岗一二三面经
logit函数和sigmoid函数是什么关系？
logit函数和sigmoid函数互为反函数, logisitic 函数就是sigmoid函数。
其中，
l
o
g
i
t
(
p
)
=
l
n
p
1
−
p
logit(p) = ln \frac{p}{1-p}
logit(p)=ln1−pp,
s
i
m
o
i
d
(
x
)
=
1
1
+
e
−
x
simoid(x) = \frac{1}{1+e^{-x}}
simoid(x)=1+e−x1.
在逻辑回归中，假设数据符合伯努利分布，
P
(
Y
=
1
∣
x
)
=
e
x
p
(
ω
⋅
x
)
1
+
e
x
p
(
ω
⋅
x
)
P(Y=1\mid x) = \frac{exp(\omega \cdot x)}{ 1 + exp(\omega \cdot x)}
P(Y=1∣x)=1+exp(ω⋅x)exp(ω⋅x)
P
(
Y
=
0
∣
x
)
=
1
1
+
e
x
p
(
ω
⋅
x
)
P(Y=0\mid x) = \frac{1}{ 1 + exp(\omega \cdot x)}
P(Y=0∣x)=1+exp(ω⋅x)1
因此可推导出，
l
o
g
i
t
(
p
)
=
ω
⋅
x
logit(p) = \omega \cdot x
logit(p)=ω⋅x.
似然函数为
∏
i
=
1
N
p
y
i
⋅
(
1
−
p
)
1
−
y
i
\prod_{i=1}^{N} p^{y_i} \cdot (1-p)^{1-y_i}
i=1∏Npyi⋅(1−p)1−yi
对数似然函数为：
L
(
ω
)
=
∑
i
=
1
N
y
i
⋅
l
o
g
(
p
)
+
(
1
−
y
i
)
⋅
l
o
g
(
1
−
p
)
L(\omega) = \sum_{i=1}^{N} y_i\cdot log(p) + (1-y_i) \cdot log(1-p)
L(ω)=i=1∑Nyi⋅log(p)+(1−yi)⋅log(1−p)
求极大似然估计，
L
(
ω
)
L(\omega)
L(ω)的极大值，即求
−
L
(
ω
)
-L(\omega)
−L(ω)的极小值，
−
L
(
ω
)
-L(\omega)
−L(ω)也就是交叉熵损失函数。
在多分类任务中，假设数据符合多项式分布，使用softmax函数进行回归，，根据极大似然函数可以推导出多酚类任务中的交叉熵函数。
交叉熵损失函数
二分类：
L
=
−
(
y
⋅
l
o
g
(
p
)
+
(
1
−
y
)
⋅
l
o
g
(
1
−
p
)
)
L = -(y\cdot log(p) + (1-y) \cdot log(1-p) )
L=−(y⋅log(p)+(1−y)⋅log(1−p))
多分类：
L
=
−
∑
i
y
i
l
o
g
(
p
i
)
L = - \sum_{i}^{} y_i log(p_i)
L=−i∑yilog(pi)
其中，
y
i
y_i
yi 指示变量（0/1），如果该类别与样本的真实类别相同取值为1，否则取值为0.
p
i
p_i
pi表示样本属于i的预测概率。
交叉熵用来描述两个分布的距离， 神经网络训练的目的就是使g(x)逼近p(x)。
332
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
