激活函数和正则化

1.常用的激活函数及特点

常用的激活函数有：ReLU、Sigmoid、Tanh等

ReLU激活函数具有：简单、线性相关性和非线性增长等特点

Sigmoid激活函数具有：非线性和可导性等特点

Tanh激活函数具有：非线性和可导性等特点

2.正则化方法和防止过拟合的技巧

正则化方法包括：L1正则化和L2正则化

防止过拟合的技巧包括：数据集的划分、增大数据量、加入噪声、dropout等

3.批归一化的原理和应用

批归一化用于：加速神经网络的训练并提高性能

原理：是对每层的输入进行归一化处理，减少输入分布的变化

应用场景包括：图像分类、目标检测、语音识别等