一、深度学习的意义
1.全连接网络
链接权过多,算的慢,难收敛,同时可能进入局部极小值,也容易产生过拟合问题,例如
输入为1000 × 1000图像,隐含层有1M个节点。
为解决算的慢的问题,减少权值连接,每一个节点只连到上一层的少数神经元,即局部连接。络。
![](https://i-blog.csdnimg.cn/blog_migrate/92a41e21cdb0920f1899293e7a0e5f9c.png)
解决浅层全连接网络拟合效果不好、权值过多的问题:信息分层处理,每一层在上层提取特征的基础上获取进行再处理,得到更高级别的特征。
![](https://i-blog.csdnimg.cn/blog_migrate/65884b8df567179f8f3d7eb146a6352f.png)
1.2深度学习平台简介
![](https://i-blog.csdnimg.cn/blog_migrate/4c7d3ce0d24316659fcc2666f9cf7d11.png)
![](https://i-blog.csdnimg.cn/blog_migrate/72ffb26c6de52c6ba67c6372e00b1d41.png)
二、卷积神经网络
1、进化史
![](https://i-blog.csdnimg.cn/blog_migrate/3ccece5192cf444ec353d1ddf14efd27.png)
![](https://i-blog.csdnimg.cn/blog_migrate/a5dad01e87404eb57bbd5df3c6935b91.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d89bc61cb109992eb1fe245b3bc58783.png)
![](https://i-blog.csdnimg.cn/blog_migrate/8dda27d5af915780e442122e1ccf23b2.png)
2、基本概念——特征提取
![](https://i-blog.csdnimg.cn/blog_migrate/52d4eb6661a614f4673d381b5bdabbe5.png)
注意,图像卷积时,根据定义,需要首先把卷积核上下左右转置。此处卷积核(黄色)是对称的,所以忽视。
填充(Padding),也就是在矩阵的边界上填充一些值,以增加矩阵的大小,通常用0或者复制边界像素来进行填充。
![](https://i-blog.csdnimg.cn/blog_migrate/34d1b414cc175b8b92a59401e8d5427a.png)
卷积NN的BP算法:卷积层+卷积层
![](https://i-blog.csdnimg.cn/blog_migrate/39d63327baa790a8dbdb2d356e8fc3cc.png)
卷积NN的BP算法:卷积层+全连接层
![](https://i-blog.csdnimg.cn/blog_migrate/f0a4c5c4e1f2a522e222687c04e7b05c.png)