深度学习源码中经常出现的logits其实和统计中定义的logit函数=log(p/1-p)没什么太大关系,logits可以看成神经网络最后一层全连接的输出*权重参数。该输出一般会再接一个softmax layer输出normalize 后的概率,用于多分类。
pre-logits就是一个全连接层+tanh激活函数。
深度学习源码中经常出现的logits其实和统计中定义的logit函数=log(p/1-p)没什么太大关系,logits可以看成神经网络最后一层全连接的输出*权重参数。该输出一般会再接一个softmax layer输出normalize 后的概率,用于多分类。
pre-logits就是一个全连接层+tanh激活函数。