深度学习概论

复制机上线，整理头一晚看的视频的文字版。
总结一下神经网络的基础，尤其是对反向传播的理解。

1.引言

略

2.什么是神经网络？

从房价预测案例开始：

这是一个最简单的神经网络，房屋的面积作为输入x，通过一个节点，输出价格y。
这个节点就是一个单独的神经元，这个函数被称作ReLU激活函数。（max(0,x)）。

多特征房屋价格预测：（单个神经元的叠加）

3.神经网络的监督学习

监督学习的应用例子：

几种典型的神经网络结构图：


监督学习处理的两种数据类型：（结构数据和非结构数据）

4.为什么深度学习会兴起？

数据量和神经网络的规模都会影响性能，传统机器学习没法处理大规模数据。

现如今对于神经网络算法方面的创新主要是对计算的优化，使代码运行的更快，比如一个巨大突破就是从sigmoid函数转换到ReLU函数：（sigmoid两端梯度趋近于零，导致参数更新hin慢）

深度学习会越来越好。