LRN（局部响应归一化）是深度学习中提高模型准确性的技术，首次在AlexNet模型中使用。该技术通过抑制部分神经元，增强模型的泛化能力。LRN的计算公式涉及对卷积层输出的通道方向上的点进行加权平方和，然后归一化。在AlexNet中，LRN与ReLU激活函数、Dropout和最大池化共同作用，提升网络性能。
一、LRN技术介绍：
Local Response Normalization(LRN)技术主要是深度学习训练时的一种提高准确度的技术方法。其中caffe、tensorflow等里面是很常见的方法，其跟激活函数是有区别的，LRN一般是在激活、池化后进行的一种处理方法。LRN归一化技术首次在AlexNet模型中提出这个概念。
AlexNet将LeNet的思想发扬光大，把CNN的基本原理应用到了很深很宽的网络中。AlexNet主要使用到的新技术点如下。
（1）成功使用ReLU作为CNN的激活函数，并验证其效果在较深的网络超过了Sigmoid，成功解决了Sigmoid在网络较深时的梯度弥散问题。虽然ReLU激活函数在很久之前就被提出了，但是直到AlexNet的出现才将其发扬光大。
（2）训练时使用Dropout随机忽略一部分神经元，以避免模型过拟合。Dropout虽有单独的论文论述，但是AlexNet将其实用化，通过实践证实了它的效果。在AlexNet中主要是最后几
最低0.47元/天 解锁文章
扫一扫
1590
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
