这一章主要介绍了ANN,CNN,RNN,LSTM,VAE,GAN
利用神经网络(ANN)识别数字
MNIST图集:0~9的手写数字图片,包含60000张训练图片和10000张测试图片,存储格式特殊,需要专门的程序解析
防止过拟合的惩罚项
ANN是很复杂的模型,非常容易发生过拟合,通用的方法是加入惩罚项,常用的惩罚项有三种:
![b79a54b85e73560c9299d95c0bdf38c9.png](https://i-blog.csdnimg.cn/blog_migrate/fb0992796fecca451d615e8a2ecb9a3b.jpeg)
![c32e16e026fc3f23988df4b14acc3f21.png](https://i-blog.csdnimg.cn/blog_migrate/02a630173b616d8e58b7bb9302994528.jpeg)
![f687b6f19e84b2a3d6dcec9a93026916.png](https://i-blog.csdnimg.cn/blog_migrate/e486c39741aed29ba1fa27c52f709051.jpeg)
防止过拟合之Dropout
在训练模型的每一步中随机暂时剔除一些神经元,在预测时,使用完整的网络,同时需要将相应的神经元输出扩大到原来的
![0acdc573b46e1cdd58f0facc50f720bd.png](https://i-blog.csdnimg.cn/blog_migrate/cac07b13220536bb620787c8c53cc91e.jpeg)
倍,P是每个神经元被保留的概率。
卷积神经网络(CNN)
ANN丢失了像素之间的位置关系,CNN可以捕捉像素之间的位置关系和模拟人眼对图像的模糊处理
CNN的结构为:输入层,卷积层,池化层,全连接层。其中,卷积层和池化层是为了提取图像特征,全连接层相当于输出层
递归神经网络(RNN)
当前神经元的输出不但能影响后面神经元的状态,还能通过网络影响它前面的神经元。这相当于在神经网络里建立起时间或上下文的概念。
生产中应用广泛的一种递归神经网络:长短期记忆(LSTM),被广泛用于语音识别,自然语言处理和机器翻译等领域。
记长期记忆为
![9b35f1edb038d5958c3fb67b99c785ec.png](https://i-blog.csdnimg.cn/blog_migrate/e95a3bf4beae6e6805d26ddfe7560dbc.jpeg)
,短期记忆为
![bbfabe208809beb5c94d975541f9f068.png](https://i-blog.csdnimg.cn/blog_migrate/3bce59819684ec3673fbe12bb6a8cc0d.jpeg)
,模型输入为
![1541c14f7b68384668f0f5810aa09afb.png](https://i-blog.csdnimg.cn/blog_migrate/7e27f7df33b1b8d60300031b88c7f2e7.jpeg)
,则长期记忆的更新机制为
若记忆力度为
![c6c632d989dc847b28802bf2e2455b81.png](https://i-blog.csdnimg.cn/blog_migrate/8abb2e41933b9e993b19b15dd360b1ff.jpeg)
,则
![8969fcaf3c920f5ddf0960f98cf19221.png](https://i-blog.csdnimg.cn/blog_migrate/f44190be697e2256a4588e7b08a172fe.jpeg)
若更新力度为
![674033e30e5105e7e32d5dec94abbad2.png](https://i-blog.csdnimg.cn/blog_migrate/16dc9a063dd3b76cf7220433aefc3de1.jpeg)
,表示多大比例的长期记忆将转换成短期记忆,候选新增记忆为
![119c4ca89e81dc320f728974a91641bc.png](https://i-blog.csdnimg.cn/blog_migrate/113903da06bcd1a88268be620a488313.jpeg)
![1188b2400089c11d452daf628ea87772.png](https://i-blog.csdnimg.cn/blog_migrate/f962ac702f0ffadfd06d94cf0a16a78a.jpeg)
![aa776d85eec90a1ef41e155c125c4d3e.png](https://i-blog.csdnimg.cn/blog_migrate/9491867ba70277089058e5f779a951ff.jpeg)
长期记忆的更新公式为
![65adc8bf89986e6d215a1eda11581fe4.png](https://i-blog.csdnimg.cn/blog_migrate/53acd68afd7a864aa5d47af5c82ed567.jpeg)
非监督学习
VAE=神经网络+生成式模型
VAE属于全连接网络,网络结构通常是对称的,输入层和输出层的神经元个数相同,模型训练的目标是让输入层与输出层越相似越好。
通过神经网络的前半部分,找到相应的隐藏状态,这一步称为编码;然后根据得到的隐藏状态和后半部分神经网络得到还原之后的数据,这一步称为解码,理想情况下,解码之后得到的数据近似等于训练数据,通过这样的模型,我们可以得到数据不可观测的类别(数据的隐藏状态)
GAN