李宏毅机器学习part13

最新推荐文章于 2021-11-21 19:16:21 发布

Rachale_

最新推荐文章于 2021-11-21 19:16:21 发布

阅读量346

点赞数

分类专栏：机器学习理论文章标签：深度学习

本文链接：https://blog.csdn.net/Rachale_/article/details/118884443

版权

本文介绍了深度学习的发展历程，包括感知机、反向传播、受限玻尔兹曼机和GPU在训练效率上的提升。深度学习主要涉及三个步骤，且在神经网络中，通过隐藏层进行特征转换。手写数字识别的例子解释了网络结构的选择和优势，以及模型评估和参数优化的方法。

摘要由CSDN通过智能技术生成

本篇文章主要基于以下资料：
开源文档：https://datawhalechina.github.io/leeml-notes
视频地址：https://www.bilibili.com/video/BV1Ht411g7Ef

1. 深度学习的发展历程
- 1958：perceptron 感知机（linear model）
有人实现了分辨卡车还是坦克，但实际是因为卡车和坦克在不同日子拍摄，感知机根据亮度来判断，并不是根据卡车和坦克的特征来区分。
- 1980 multi-layer perceptron 【跟DNN差不多，就是改了个名字】
深度学习跟multi-layer perceptron的区别：有没有用RBM找初始的值
- 1986 backpropagation（反向传播）
通常超过3 hidden layer的模型并不好用，有人证明1 hidden layer就足够了，因此大家开始用
- RBM initialization（breakthrough）受限玻尔兹曼机 (Restricted Boltzmann machine)
实际上没什么特别大的用，精辟如石头汤里面的石头
- 2009 GPU
GPU矩阵运算的使用提高训练的效率，是深度学习流行起来的关键
- 2011 在语音识别中开始流行起来
- 2012: win ILSVRC image competition
**2. 深度学习的三个步骤**