正则化 (1) L1正则 目标函数加上参数的L1范数。 (2) L2正则 目标函数加上参数的L2范数。 (3)Dropout a. 首先随机删掉网络中一半的隐藏神经元,输入输出神经元保持不变。 b. 一小批训练样本在没有被删除的神经元上按照随机梯度下降法更新对应的参数。 c. 恢复被删掉的神经元,重复a和b。