[阅读笔记]《解析卷积神经网络_深度学习实践手册》魏秀参著

书籍下载地址：http://lamda.nju.edu.cn/weixs/book/CNN_book.pdf
这本书名虽然有实践两个字，但内容还是主要介绍在实践框架中涉及的基本概念、方法和技巧介绍，侧重于实践中的概念介绍并不是手把手告诉你如何在某平台上搭建一个卷积神经网络，因此想要动手实践方面的指导的话并不推荐此书，建议有一些基础实践后再阅读。
以下是笔者的阅读笔记，因为我也是新手在入门，因此主要为章节内容摘要
只是想要查漏补缺的读者推荐直接选读每个章节的小结部分，覆盖了大部分要点且凝练

解析卷积网络

绪论

• 从“人工针对任务设计特定特征”到“机器自动学习特征”
• 三次高潮两次衰落
  – 1940s -1960s: 控制论-线性网络，因为无法解决异或和计算量太复杂而衰落
  – 1980s -1990s: BP算法提出，上述两个问题被解决；连接主义；存在数据获取瓶颈、不可解释性、巨大的计算代价的问题（此时SVM为领域主角，因为可解释性强）
  – 2006s: Hinton 发表 DBN证明神经网络训练的可行性（有效数据的急剧扩增、高性能计算硬件的实现以及训练方法的大幅完善，三者作用最终促成了神经网络的第三次“复兴”）

基础理论篇

章1 卷积神经网络基础知识

• 优化目标通常是非凸函数，因而通过随机梯度下降或误差反向传播更新参数
• Mini-batch: 选取一批样本完成前馈和反向传播更新参数（batch size 过小会产生震荡；上限则取决于硬件资源限制；一般而言，批处理大小设为32、64、128或256即可）
• epoch：无放回的，通过mini-batch处理完一遍数据集
• 实际上每层操作都对应了两部分导数：一部分是误差关于第 i 层参数的导数（用于参数更新），另一部分是误差关于该层输入的导数（视作最终误差从最后一层传至第i层的误差信号）
• 卷积神经网络中的两类基本过程:前馈运算和反馈运算。神经网络模型通过前馈运算对样本进行推理和预测，通过反馈运算将预测误差反向传播逐层更新参数，如此两种运算依次交替迭代完成模型的训练过程。
  
  

章2 卷积神经网络基本部件

• 深度学习相对于传统的分治法提供了端到端（end-to-end）的学习方式
• 卷积操