神经网络学习笔记

一、深度学习的意义

1.全连接网络

       链接权过多，算的慢，难收敛，同时可能进入局部极小值，也容易产生过拟合问题，例如 输入为1000 × 1000图像，隐含层有1M个节点。

       为解决算的慢的问题，减少权值连接，每一个节点只连到上一层的少数神经元，即局部连接。络。

       解决浅层全连接网络拟合效果不好、权值过多的问题：信息分层处理，每一层在上层提取特征的基础上获取进行再处理，得到更高级别的特征。

1.2深度学习平台简介

二、卷积神经网络

1、进化史

2、基本概念——特征提取

      注意，图像卷积时，根据定义，需要首先把卷积核上下左右转置。此处卷积核（黄色）是对称的，所以忽视。

       填充（Padding），也就是在矩阵的边界上填充一些值，以增加矩阵的大小，通常用0或者复制边界像素来进行填充。

卷积NN的BP算法：卷积层+卷积层

卷积NN的BP算法：卷积层+全连接层