深度学习基础（一）起源

最新推荐文章于 2024-05-20 09:36:49 发布

蓉城视觉小菜鸟

最新推荐文章于 2024-05-20 09:36:49 发布

阅读量1.8k

点赞数 1

分类专栏：深度学习基础知识

本文链接：https://blog.csdn.net/u010554381/article/details/88175042

版权

本文介绍了深度学习（DP）的发展历程，从感知机、神经网络（NN）到深度学习的兴起。内容包括多层感知机解决非线性问题，以及DP的基础知识，如卷积、填充、池化、全连接层和dropout技术。同时，讨论了为解决梯度消失问题引入的ReLU函数，并简要提到了VGG16模型中的关键组件。

摘要由CSDN通过智能技术生成

一、DP的前世

深度学习发展至今经历颇为曲折，上世纪起源，火热起来也是20世纪初的时候，具体时间如下图所示：

1.perceptron

深度学习（DP）的基础来源于19世纪50年代，起初是叫“perceptron”（翻译为感知机/感知器等）,包含有输入层、输出层和一个隐藏层。输入的特征向量通过隐藏层变换到达输出层，由输出层得到分类结果。但早期的单层感知机存在一个严重的问题——它对稍微复杂一些的函数都无能为力（如异或操作）。

2.NN

19世纪80年代左右为实现复杂函数功能（如异或、非线性可分等问题），提出“multi-layer perceptron”(多层感知机)/neural network(神经网络)来解决相应问题。主要为加入了隐层概念、非线性激活函数(sigmoid/tanh等)、back propagation(反向传播算法)和Optimizer(优化算法，梯度下降、mini-batch等)。

此时跨入NN时代，但由于神经网络的层数和其实现的功能挂钩：即随着神经网络层数的加深，Optimizer越来越容易陷入局部最优解和梯度消失。（具体来说，我们常常使用sigmoid作为神经元的输入输出函数。对于幅度为1的信号，在BP反向传播梯度时࿰