神经网络与深度学习-屈桢深-学习笔记（第五周）

神经网络

1、门控循环单元（GRU）

        GRU的基本思想是不是每个观察都同等重要。基本结构如下。

 

2、长短期记忆网络（LSTM）

3、深度循环神经网络

4、生成对抗网络

        生成对抗网络（GANs, generative adversarial networks）是由Ian Goodfellow等 人在2014年的Generative Adversarial Networks一文中提出。

        模型通过框架中（至少）两个模块：生成模型（Generative Model）和判别模型（Discriminative Model）的互相博弈学习产生相当好的输出。

        原始 GAN 理论中，并不要求 G 和 D 都是神经网络，只需要是能拟合相应生成和判别的函数即可。但实用中一般均使用深度神经网络作为 G 和 D 。

        一个优秀的GAN应用需要有良好的训练方法，否则可能由于神经网络模型 的自由性而导致输出不理想。

        生成对抗网络(GAN)的初始原理十分容易理解，即构造两个神经网络，一个生成器，一个鉴别器，二者互相竞争训练，最后达到一种平衡(纳什平衡)。 GAN 启发自博弈论中的二人零和博弈（two-player game），GAN 模型中的两位博弈方分别由生成式模型（generativemodel，G）和判别式模型（discriminative model，D）充当。

5、三维重构网络（NeRF）

        NeRF（Neural Radiance Fields）最早在2020年ECCV会议上发表，作为Best Paper，其将隐式表达推上了一个新的高度，仅用 2D 的 posed images 作为监督，即可表示复杂的三维场景。NeRF迅速发展起来，被应用到多个技术方向上，例如新视点合成、三维重建等等，并取得非常好的效果。

        NeRF其输入稀疏的多角度带pose的图像训练得到一个神经辐射场模型，根 据这个模型可以渲染出任意视角下的清晰的照片，也可以简要概括为用一 个MLP神经网络去隐式地学习一个三维场景。