DNN原理推导一_机器学习

前言:

     矩阵求导:    https://zhuanlan.zhihu.com/p/24709748

 

目录:

  1.      DNN 基本概念
  2.       网络模型
  3.       前向算法

一  DNN 基本概念

     DNN (Deep Neural Network)

    相对BP 网络,增加了隐藏层的层数

 

二 网络模型

   http://alexlenail.me/NN-SVG/index.html

    

 


 三  前向算法

       前向算法主要用于求误差

       算法流程

       输入:

                   a^{1}=x

                   1:     代表第一层

                    L :    总的层数

                    x:     n 维的样本

                    W_{ks}^{j}:    代表 j层第k个神经元 到 j-1层第s个神经元的权重系数

         计算

                   for  j = 2 to L   

                           a^{j}=q(Z^j) 

                    其中:

                     Q 为神经元的激活函数,常用sigmod 函数 Q(Z)=\frac{1}{1+e^{-Z}}

                      Z^{j}= W^{j}a^{j-1}+B^{j}, 代表神经元输入

 

            输出:

                         a^{L}

                 

 

 

©️2020 CSDN 皮肤主题: 书香水墨 设计师:CSDN官方博客 返回首页