神经网络学习-基础数学与写代码实现能力-好博客理解注释

①一文弄懂神经网络中的反向传播法——BackPropagation - Charlotte77 - 博客园 《一文弄懂神经网络中的反向传播法——BackPropagation》

神经网络前向以及反向传播写的很好的一篇博文，又讲了数学推倒，又有代码实现，非常好！

②接着上一篇，又讲了CNN原理与实现，非常精彩：

【深度学习系列】卷积神经网络CNN原理详解(一)——基本原理 - Charlotte77 - 博客园

【深度学习系列】卷积神经网络详解(二)——自己手写一个卷积神经网络 - Charlotte77 - 博客园

③实战：莫烦的博客，很生动详细，适合入门：

关系拟合 (回归) - PyTorch | 莫烦Python

对彩色图（三通道）的三维卷积核：

深度学习算法-卷积网络 | 甲乙小朋友的房子

机器学习算法--逻辑回归原理介绍_chibangyuxun的博客-CSDN博客_逻辑回归算法原理《机器学习算法--逻辑回归原理介绍》

讲解了基础算法之一-逻辑回归的基础知识，并且加入了解决过拟合的-正则化简介。

对①的重点注释：

原文：https://www.cnblogs.com/charlotte77/p/5629865.html

(其中，把W ho改写为W outh1(o) 更容易理解，就是out-h1对应的两个W的值,分别是W5与W7)

写代码的时候，前向传播一层层传播，每一层从上到下计算！例如计算隐层，分别计算h1，然后h2,则此层计算完毕；

反向传播也是一样，从后往前传播，例如计算o层的偏导数，先计算ξo1,然后计算ξo2,则o层的偏导数计算完毕，（然后利用o层结果可以计算出对W5-8的偏导数）；继续反向传播，先计算ξh1（需要借助于ξo1与ξo2的值）,再计算ξh2，则h1层偏导数计算完毕，（然后利用h层结果可以计算出对W1-4的偏导数）