算法面试学习——keras学习基础2-深度学习

1.深度学习重要概念：

1）函数类型：组合函数、激活函数、误差函数、目标函数

激活函数：sigmoid存在梯度消失问题，而threshold或者Hard max激活函数max(0,x)可以在隐层中引入稀疏性，有助于模型训练。

2）批量算法：batch，一次处理所有数据后更新参数。而递增算法处理一个或数个数据就要更新参数。

3）在线学习和离线学习

4）数据标准化：重缩放，标准化，规范化

5）随机梯度下降法

6）反向传播算法（BP算法）