李宏毅深度学习深度学习介绍和反向传播机制Task04

最新推荐文章于 2022-01-21 17:13:11 发布

wkywcd

最新推荐文章于 2022-01-21 17:13:11 发布

阅读量156

点赞数 1

文章标签：神经网络

本文链接：https://blog.csdn.net/wkywcd/article/details/119765274

版权

本文概述了深度学习的历史，从1958年的Perceptron到现代的GPU加速，以及深度学习的关键步骤，如神经网络构建、模型评估。重点介绍了反向传播机制，解释了如何计算参数的偏微分，并通过反向传播更新权重以优化损失函数。

摘要由CSDN通过智能技术生成

一、深度学习

1958: Perceptron (linear model)
1958: Perceptron (linear model)
1969: Perceptron has limitation
1980s: Multi-layer perceptron
1986: Backpropagation
1989: 1 hidden layer is “good enough”,
2006: RBM initialization (breakthrough)
2009: GPU
2011: Start to be popular in speech recognition
2012: win ILSVRC image competition 感知机（Perceptron）非常像我们的逻辑回归（Logistics Regression）只不过是没有sigmoid激活函数。09年的GPU的发展是很关键的，使用GPU矩阵运算节省了很多的时间。