深度神经网络

神经网络是非常复杂的模型，容易一起过拟合问题。防止过拟合最直接的方法就是在模型的损失函数里面加入惩罚项，在大型神经网络，还需要试用特殊的dropput方法。这个方法将在训练神经网络的过程中，随机的删掉一些神经元，防止模型过度优化。

经典的全连接神经网络无法模拟人眼局部识别和模糊处理的能力。卷积神经网络，这个模型在全连接神经网络的基础上增加了卷积层和池化层，其中卷积层和池化层由于局部连接，有效的减少了参数模型，从而降低模型训练难度，使我们能在实践中搭建和使用成熟更多的深度神经网络。

全连接神经网络和卷积神经网络都属于前馈神经网络，这类模型是静态的，因此无法处理动态数据。现在介绍一下递归神经网络，并重点讨论了长短期记忆模型，后者在语音识别和事件序列分析领域取得了较好的预测效果。

神经网络在非监督式学习里的应用，由于没有标签变量，非监督式神经网络通常需要依赖生成式模型框架定义模型的似然函数，并使用最大似然估计发进行求解，最典型的例子是VAE和GAN。

 

VAE与GAN理解

https://blog.csdn.net/weixin_40955254/article/details/82315224