卷积神经网络各个部分的理解及其前向传播、反向传播的代码实现

　　随着深度学习框架的兴起与发展，卷积神经网络的搭建越来越简单。我们可以自行设计网络结构，然后利用深度学习框架，只需要简单的几行代码，就可以搭建好自己的网络模型。虽然模型的搭建很容易，但网络的底层具体是怎么实现的，参数是如何传递的，我们无从可知。本文主要分析了卷积、池化、全连接以及激活函数的反向传播过程（前向传播比较基础，本文不再做分析）以及前向传播、反向传播的python代码实现，整个实现过程完全利用python以及numpy，不借助任何深度学习框架和其他外部代码包。

全连接

全连接的反向传播其实就是BP神经网络的反向传播。反向传播过程主要包括两部分：第一首先根据前一层的梯度确认某一层的梯度，第二根据前一层的梯度计算出W 和 b的梯度。
参考周志华老师的《机器学习》，由链式求导法则，损失函数对某层的梯度等于该层的求导乘以该层与损失函数之间所有层的梯度的累乘。

全连接层梯度的更新：

W 和 b 的更新：

代码实现：

	def forward(self,input):
        
        self.input = input
        output = np.dot(self.input, self.w) + self.b
        
        return output
    
    def gra(self,err):
        
        for i in range(err.shape[0]):
            col_input = self.input[i][:, np.newaxis]
            err_i = err[i][:, np.newaxis].T
            self.w_gra += np.dot(col_input, err_i)
            self.b_gra += err_i.reshape(self.b.shape)
        next_err = np.dot(err, self.w.T)
        next_err = np.reshape(next_err, self.input_shape)
        
        return next_err
    
    def backward(self,err,alpha=0.00001,weight_decay=0.0001):
        
        next_err = self.gra(err)
        self.w *= (1 - weight_decay)
        self.b *= (1 - weight_decay)
        self.w -= alpha * self.w_gra
        self.b -= alpha * self.b_gra
        
        self.w_gra = np.zeros(self.w.shape)
        self.b_gra = np.zeros(self.b.shape)
        
        return next_err

卷积

首先，还是简单的介绍一下卷积神经网络的思想。人的大脑在识别图像的过程中，并不