规模促进了深度学习的进步
这些规模包括:
(1)数据集规模的扩大
(2)计算机计算能力的增强
(3)算法的改进
还有一个重要的原因:激活函数的变化,从原来的sigmoid函数变为后来的Relu激活函数。
ReLU:rectified linear unit.对于正值的输入它的导师都是1,梯度不会趋向于0,也就是训练过程中,参数W和参数b的变化不会趋向于0。
规模促进了深度学习的进步
这些规模包括:
(1)数据集规模的扩大
(2)计算机计算能力的增强
(3)算法的改进
还有一个重要的原因:激活函数的变化,从原来的sigmoid函数变为后来的Relu激活函数。
ReLU:rectified linear unit.对于正值的输入它的导师都是1,梯度不会趋向于0,也就是训练过程中,参数W和参数b的变化不会趋向于0。