【学习笔记】Neural networks and deep learning-神经网络和深度学习

本文是Online Book《Neural networks and deep learning-神经网络和深度学习》的学习笔记，主要记录概括章节内容，可以说是一个大纲，供复习之用，详细内容见链接原文。
Chapter 1 使用神经网络识别手写数字
1.1perceptrons （感知机）
1.2sigmoid neuron（sigmoid神经元）
1.3神经网络的构建
1.4一种简单的分类手写数字的网络
1.5Gradient decent （梯度下降）
1.6分类数字的网络的实现（Python）
1.7Deep learning (深度学习)

Chapter 2 反向传播算法是怎样工作的
2.1 热身：一种快速的基于矩阵的计算神经网络输出的方法
2.2 我们需要对花费函数做的两个假设
2.3 Hadamard乘积
2.4 BP算法背后的四个基本方程
2.5 证明四个基本房产（选修）
2.6 BP算法
2.7 BP算法代码
2.8 在什么情况下BP算法是一个快速算法呢？
2.9 BP：大视野

Chapter 3 改进神经网络学习的方法
3.1 交叉熵花费函数（花费函数的更好选择）
3.2 过拟合和正则化（L1,L2正则化，丢弃、人工扩展数据）
3.3 权值初始化（更好的方法）
3.4 手写识别：代码
3.5 如何选择神经网络的超参数？（选择更好的超参数的启发式算法）
3.6 其他技术

Chapter4 神经网络可以计算任何函数的可视化证明

Chapter 5 为何深度神经网络难以训练？
5.1消失的梯度问题
5.2什么导致消失的梯度问题？是深度神经网络中的梯度不稳定性。
5.3复杂网络中的梯度不稳定性
5.4深度学习的其他障碍

Chapter 6 深度学习
6.1 卷积神经网络简介
6.2 卷积神经网路实践
6.3 卷积神经网络代码
6.4 图像识别最近的进展
6.5 深度神经网络的其他方法
6.6 神经网络的未来