李宏毅机器学习day4之深度学习简介

最新推荐文章于 2024-07-09 20:25:27 发布

心yu

最新推荐文章于 2024-07-09 20:25:27 发布

阅读量139

点赞数

分类专栏：机器学习文章标签：深度学习逻辑回归

本文链接：https://blog.csdn.net/qq_42695411/article/details/127956560

版权

本文介绍了深度学习的发展历程，从感知机到现代深度神经网络的演变，强调了GPU在计算上的重要性。深度学习的步骤包括神经网络选择、模型评估和优化函数的选择，特别是前馈神经网络和矩阵运算在模型中的应用。此外，讨论了模型评估的交叉熵损失函数和梯度下降优化方法，以及反向传播在训练过程中的作用。

摘要由CSDN通过智能技术生成

1958: Perceptron (linear model)
1969: Perceptron has limitation
1980s: Multi-layer perceptron
- Do not have significant difference from DNN today
1986: Backpropagation
- Usually more than 3 hidden layers is not helpful
1989: 1 hidden layer is “good enough”, why deep?
2006: RBM initialization (breakthrough)
2009: GPU
2011: Start to be popular in speech recognition
2012: win ILSVRC image competition 感知机（Perceptron）非常像我们的逻辑回归（Logistics Regression）只不过是没有sigmoid激活函数。09年的GPU的发展是很关键的，使用GPU矩阵运算节省了很多的时间。