很不深度的深度学习day2

那个那个，，，嗯嗯，昨昨昨，，天不知道CSDN咋了，编辑不了文章，所以我理直气壮地偷懒不学习。

常见的激活函数：

卷积神经网络CNN
卷积神经网络(Convolutional Neural Network, CNN)是深度学习中最重要的概念之一
20世纪60年代，HubeI和Wiesel在研究猫脑皮层中用于局部敏感和方向选择的神经元时发现，其独特的网络结构可以有效降低神经网络的复杂性
1998年，Yann LeCun提出了LeNet神经网络,标志着第一个采用卷积思想的神经网络面世

卷积神经网络

那么，卷积与池化是啥意思捏？

卷积
对于图像输入，我们根据统计学可以有这样一个大胆而细腻的假设，图像的不同部分的统计特征是几乎一样的，也即我们在一个地方学习到的特征可以应用到全图。
基于这样一个原理，我们可以学习一个小特征，然后将其和整幅图作运算，就得到了我们的新特征。这个特征我们还应该考虑到空间信息，也即我们用2维特征做卷积运算，而不是一维。
池化
对于大图像来说，只做卷积资源消耗太大（变量太多），并且很容易出现过拟合。
这时我们可以把图像缩小，例如使用max-pooling或者average-pooling
这样做原理显而易见，我们把一个大图片由大缩小后同样能看出来它是个啥，我们希望计算机也具有这种能力。
另外，池化还给我们提供了一种平移不变形特征，这想必也是极好的。1

python笔记专练