深度学习笔记（01）：为什么深度学习会兴起？

规模促进了深度学习的进步 

这些规模包括：
（1）数据集规模的扩大
（2）计算机计算能力的增强
（3）算法的改进
还有一个重要的原因：激活函数的变化，从原来的sigmoid函数变为后来的Relu激活函数。

ReLU：rectified linear unit.对于正值的输入它的导师都是1，梯度不会趋向于0，也就是训练过程中，参数W和参数b的变化不会趋向于0。