深度学习概论

最新推荐文章于 2023-12-28 00:14:20 发布

笔下万码生谋略

最新推荐文章于 2023-12-28 00:14:20 发布

阅读量506

点赞数

分类专栏： MachineLearning 文章标签：深度学习人工智能

本文链接：https://blog.csdn.net/weixin_47707533/article/details/131646083

版权

本文概述了深度学习的历史，从1958年的Perceptron到21世纪的深度学习革命。深度学习的步骤包括定义神经网络、确定损失函数和进行最优化。文章提到了关键转折点，如反向传播、RBM初始化、GPU加速训练以及在语音识别和图像处理中的应用。

摘要由CSDN通过智能技术生成

一、深度学习历史

1958年：人们感觉人工智能要来了，因为linear model的出现，它可以做到一些稍微复杂的分类和预测问题，当时他们也叫这个技术为Perceptron，感知器
1969年：有人终于发现了linear model有缺点，研究了一下为什么“坦克与卡车”的图像分类为什么如此精确，原来是因为两组图片的拍照时间不一样，而机器是通过其亮度作为特征来分类的
1980年代：多层感知机，尝试使用多层的感知机（与现在的deep learning基本没有差别）
1986年：出现了反向传播，但是发现超过3层就不太有用了
1989年：有人认为，一个隐藏层就足够成为任何的function。这段时间多层感知机被各种嫌弃，所以人们才给它换了个名字，就是深度学习。
2006年：RBM initialization被认为是大突破，这个非常复杂，用于梯度下降初始化值，最后发现复杂但是没啥用.
RBM initialization指"受限玻尔兹曼机"（Restricted Boltzmann Machine，RBM）的初始化过程。RBM是一种人工神经网络，用于无监督学习任务，如数据降维和特征提取。初始化是指在训练RBM之前，为其权重和偏差参数赋初值的过程。常用的初始化方法包括随机初始化和预训练初始化。随机初始化是将权重和偏差参数设置为随机值，而预训练初始化是通过逐层训练来初始化RBM，以便更好地捕捉输入数据的结构。
2009年：知道要用GPU来加速深度学习的模型训练
2011年ÿ