神经网络小总结

5、神经网络

• 优点：分类的准确度高;并行分布处理能力强,分布存储及学习能力强，对噪声神经有较强的鲁棒性和容错能力，能充分逼近复杂的非线性关系；具备联想记忆的功能。

• 缺点：神经网络需要大量的参数，如网络拓扑结构、权值和阈值的初始值；
  不能观察之间的学习过程，输出结果难以解释，会影响到结果的可信度和可接受程度；
  学习时间过长,甚至可能达不到学习的目的。

• 与机器学习的不同：机器学习的过程，就是通过训练输入输出数据而寻找到目标函数的过程。深度学习是机器学习的一种。在传统机器学习中，手动设计特征对学习效果是很重要的，但特征工程非常繁琐。二深度学习能够从大数据中自动学习特征，这是深度学习能够在大数据时代广受欢迎的一原因。

• 优化类的参数：学习率（learning rates）、 batch_size、训练代数（epochs）
  模型类的参数：隐含层数（hidden layers）、模型结构的参数（如RNN）。

• 调参

  • 参数初始化，一般使用服从的高斯分布（mean=0, stddev=1）或均匀分布的随机值作为权重的初始化参数；使用 0 作为偏置的初始化参数。随机正交矩阵（Orthogonal）
    截断高斯分布（Truncated normal distribution）
  • 学习率（LR），一般从0.01开始往下调节，即梯度下降的步长
  • 动量ÿ