C++元编程——CNN卷积层使用ReLu激活和NAdam更新

CNN的卷积层在出来时候需要经过ReLu激活函数。基于之前对BP神经网络的研究，于是就想能不能采用NAdam对卷积层进行加速，结果是惊人的，原来训练万次可得结果的卷积层仅需500次更新就可以得到完全精确的结果！！！以下是输入[1-7]*7的7*7矩阵，输出是[1-9]的3*3矩阵。500次训练后，结果可见是完全一致的！

废话不多，直接上代码：

#ifndef _CONVOLUTION_LAYER_HPP_
#define _CONVOLUTION_LAYER_HPP_
#include "mat.hpp"
#include "weight_initilizer.hpp"
#include "base_function.hpp"

/* 卷积层 */
template<int input_row, int input_col, int tpl_row, int tpl_col, int row_step, int col_step, template<typename> class update_method_templ, template<typename> class activate_func, typename tpl_init_method, typename val_t = double>
struct conv_layer 
{
	using tpl_type = mat<tpl_row, tpl_col, val_t>;
	using input_type = mat<input_row, input_col,