qq_35235032的博客

动量法梯度下降存在问题，因为是对整个梯度用学习率做的衰减和增强，所以所有的梯度分量都享受同一个权重学习率，容易造成有些分量衰减的过于缓慢，有些分量震荡的剧烈到最后发散的可能动量法在一定程度上能解决梯度下降的问题,如果考虑历史梯度，将会引导参数朝着最优值更快收敛，这就是动量算法的基本思想vt=γvt−1+ηtgtv_t = \gamma v_{t-1} + \eta_t g_tvt​=γvt−1​+ηt​gt​xt=xt−1−vtx_t = x_{t-1} - v_txt​=xt−1​−vt​由

注：参考《动手学深度学习》一书构建的网络模型是ResNet-18，即4个残差块，每块里面有四层卷积（不包括用以改变通道数的1×1卷积层），以及最开始的卷积层和最后的全连接层，总共18层数据集类型为简单的array或pd.DataFrame类型的二维表或二维矩阵1、加载测试数据1.1、构建训练数据的X-y的Dataset类，用以后续的批处理和shuffleclass AnalysisDataset(Dataset): def __init__(self, in_data, col

bp神经网络的python实现导入所需要的包import numpy as npimport matplotlib.pyplot as plt激活函数（选用sigmoid函数）def sigmoid(x): return 1 / (1 + np.exp(-x))连接层类(包含初始化，前向传播，误差反馈等过程)class Layer(object): def __init__(self, units, activation = None, learning_