①一文弄懂神经网络中的反向传播法——BackPropagation - Charlotte77 - 博客园 《一文弄懂神经网络中的反向传播法——BackPropagation》
神经网络前向以及反向传播写的很好的一篇博文,又讲了数学推倒,又有代码实现,非常好!
②接着上一篇,又讲了CNN原理与实现,非常精彩:
【深度学习系列】卷积神经网络CNN原理详解(一)——基本原理 - Charlotte77 - 博客园
【深度学习系列】卷积神经网络详解(二)——自己手写一个卷积神经网络 - Charlotte77 - 博客园
③实战:莫烦的博客,很生动详细,适合入门:
关系拟合 (回归) - PyTorch | 莫烦Python
对彩色图(三通道)的三维卷积核:
机器学习算法--逻辑回归原理介绍_chibangyuxun的博客-CSDN博客_逻辑回归算法原理《机器学习算法--逻辑回归原理介绍》
讲解了基础算法之一-逻辑回归的基础知识,并且加入了解决过拟合的-正则化简介。
对①的重点注释:
原文:https://www.cnblogs.com/charlotte77/p/5629865.html
(其中,把W ho改写为W outh1(o) 更容易理解,就是out-h1对应的两个W的值,分别是W5与W7)
写代码的时候,前向传播一层层传播,每一层从上到下计算!例如计算隐层,分别计算h1,然后h2,则此层计算完毕;
反向传播也是一样,从后往前传播,例如计算o层的偏导数,先计算ξo1,然后计算ξo2,则o层的偏导数计算完毕,(然后利用o层结果可以计算出对W5-8的偏导数);继续反向传播,先计算ξh1(需要借助于ξo1与ξo2的值),再计算ξh2,则h1层偏导数计算完毕,(然后利用h层结果可以计算出对W1-4的偏导数)