C++元编程——CNN卷积层使用ReLu激活和NAdam更新

腾昵猫

已于 2022-11-17 11:27:28 修改

阅读量591

点赞数

分类专栏：元编程学习实践文章标签： cnn 深度学习神经网络

于 2022-11-16 15:53:23 首次发布

本文链接：https://blog.csdn.net/Dr_Jack/article/details/127886860

版权

本文介绍了如何在C++中利用元编程技术，结合ReLu激活函数和NAdam优化器来加速CNN卷积层的训练。通过实例展示了在7*7输入矩阵和3*3输出矩阵的情况下，仅需500次更新就能达到与训练万次相当的精确结果。

摘要由CSDN通过智能技术生成

CNN的卷积层在出来时候需要经过ReLu激活函数。基于之前对BP神经网络的研究，于是就想能不能采用NAdam对卷积层进行加速，结果是惊人的，原来训练万次可得结果的卷积层仅需500次更新就可以得到完全精确的结果！！！以下是输入[1-7]*7的7*7矩阵，输出是[1-9]的3*3矩阵。500次训练后，结果可见是完全一致的！

废话不多，直接上代码：

#ifndef _CONVOLUTION_LAYER_HPP_
#define _CONVOLUTION_LAYER_HPP_
#include "mat.hpp"
#include "weight_initilizer.hpp"
#include "base_function.hpp"

/* 卷积层 */
template<int input_row, int input_col, int tpl_row, int tpl_col, int row_step, int col_step, template<typename> class update_method_templ, template<typename> class activate_func, typename tpl_init_method, typename val_t = double>
struct conv_layer 
{
	using tpl_type = mat<tpl_row, tpl_col, val_t>;
	using input_type = mat<input_row, input_col,