caffe
佳佳费_
计算机 IT 图像处理 机器学习(争取博客周更)
展开
-
局部响应值归一化(Local Response Normalization,LRN)
LRN是一种提高深度学习准确度的技术方法。LRN一般是在激活、池化函数后的一种方法。 在ALexNet中,提出了LRN层,对局部神经元的活动创建竞争机制,LRN仿造生物学上活跃的神经元对相邻神经元的抑制现象(侧抑制)。好处有以下两点:归一化有助于快速收敛; 对局部神经元的活动创建竞争机制,使得其中响应比较大的值变得相对更大,并抑制其他反馈较小的神经元,增强了模型的泛化能力。在2012...原创 2018-08-02 16:12:53 · 765 阅读 · 0 评论 -
softmax函数和softmax_loss
softmax 函数softmax(柔性最大值)函数,一般在神经网络中, softmax可以作为分类任务的输出层。其实可以认为softmax输出的是几个类别选择的概率,比如我有一个分类任务,要分为三个类,softmax函数可以根据它们相对的大小,输出三个类别选取的概率,并且概率和为1。softmax函数的公式是这种形式: Si=ezi∑kezkSi=ezi∑kezkSiSi代表的...转载 2018-08-02 16:56:28 · 5637 阅读 · 1 评论