该博客是李宏毅教授的深度学习课程笔记，涵盖深度学习的三个步骤：神经网络、函数优化和网络结构，讲解了全连接前馈网络、损失函数、梯度下降及其困难，强调了深度学习的优势，并介绍了Keras等工具。此外，还探讨了训练深度神经网络的技巧，如损失函数选择、小批量、激活函数、自适应学习率、动量法、早停法、权重衰减和dropout。最后，提到了卷积神经网络和循环神经网络的应用，以及监督学习、强化学习和无监督学习的未来趋势。
李宏毅一天搞懂机器学习PPT，SildeShare链接：https://www.slideshare.net/tw_dsconf/ss-62245351?qid=108adce3-2c3d-4758-a830-95d0a57e46bc&v=&b=&from_search=3
也可以在csdn下载中下载（资源附学习笔记全文）：https://download.csdn.net/download/wozaipermanent/11998637
1 Introduction of Deep Learning
1.1 Three Steps for Deep Learning
- Step1: define a set of function (Neural Network)
- Step2: goodness of function
- Step3: pick the best function
1.2 Step1: Neural Network
1.2.1 Fully Connect Feedforward Network
1.2.2 Output Layer(Option)
- Softmax(归一化指数函数)：它能将一个含任意实数的k维向量Z“压缩”到另一个k维向量 σ ( Z ) \sigma(Z) σ(Z)中，使得每一个元素的范围都在(0, 1)之间，并且所有元素的和为1。
1.2.3 Example Application
- Handwriting Digit Recognition
1.3 Step2: Goodness of Function
1.3.1 Learning Target
1.3.2 Loss
- Total Loss:
1.4 Step3: Pick the Best Function
1.4.1 Gradient Descent
-
RBM(Restricted Boltzmann Machine): 受限玻尔兹曼机，这部分可以参考链接：https://zhuanlan.zhihu.com/p/22794772
-
Then Compute ∂ L / ∂ w \partial L / \partial w ∂L/∂w , if Negative then Increase w; elif Positive then decrease w
最低0.47元/天 解锁文章
扫一扫
380
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
