序言
英文水平高的老铁们,建议直接阅读大神论文原作。
论文传送门《Gradient-Based Learning Applied to Document Recognition》by
YANN LECUN,点击下载英文论文。
网络结构
图解
详解
此卷积神经网络结构中,去除输入和输出层,总计6层;如果在去除展平输出节点的全连接层,实质性层次有5层。
每层的训练参数数量计算和网络节点数量计算,见下图表格中所示。
如有疑问,欢迎在文章评论区留言,共同交流,以便相互学习提高。
LeNet5虽然结构简单,一眼可解,但是,也有mark point。
LeNet5结构中最复杂的,不按常理出牌的,当属S2到C3层的结构设计,其连接设计如下图所示。
由此,可得表单中红色部分注明的计算结果。
具体逻辑参见原论文中该部分的描述。
As in classical NN’s, units in layers up to F6 compute a dot product between their input vector and their weight vector, to which a bias is added. This weighted sum, denoted for unit is then passed through a sigmoid squashing function to produce the state of unit denoted by xi.
F6计算输入向量和权重向量的点积,再加上偏置项。结果经过sigmoid函数后产生输出标记符号xi的状态值。即:
xi=f(ai)
The squashing function is a scaled hyperbolic tangent.
本文中F6层采用了正切函数作为sigmoid squashing函数,计算公式为:
f(a)=Atanh(Sa)
Finally, the output layer is composed of Euclidean RBF units, one for each class, with 84 inputs each. The outputs of each RBF unit is computed as follows:
最后,输出层采用了RBF函数,即径向欧式距离函数,计算公式为:
yi=SUMj(xj-wij)^2
创新思想
核心点
卷积网络
降采样
全连接
表征能力
损失函数
感悟点
[1]大江向东流,苍天饶过谁?
[2]开山有鼻祖,AI看上图!
[3]从1998到2018,《舌尖上的中国》有云“剩下的都交给时间吧”
图灵奖-历年得主https://amturing.acm.org/byyear.cfm
[4]卷积神经网络之父,也是站在导师Geoffrey Hinton反向传播算法的肩膀上!
参考资料
- Y. LeCun, L. Bottou, Y. Bengio, and P. Haffner. “Gradient-based learning applied to document recognition.” Proceedings of the IEEE, 86(11):2278-2324, November 1998.go to the paper
- 卷积神经网络 LeNet-5各层参数详解,转到简书浏览此文
- 深度学习 — 卷积神经网络CNN(LeNet-5网络学习算法详解),转到CSDN浏览此文
- 大佬个人网站【http://yann.lecun.com/index.html】