深度学习概述与基础

一，深度学习的基础结构 - 神经网络

神经网络工作流程

二，DL与AI、ML的比较

• AI：任何能使计算机模仿人类行为的技术。
• ML：在没有显示编程的情况下使计算机具有学习的能力。
• DL：使用神经网络学习数据底层的特征。

1，它们之间的包含关系

2，它们之间的原理差异

三，欠拟合和过拟合

欠拟合的原因可能有：

• 模型本身复杂度不够
• 很难找到目标函数的全局最优解或者很容易陷入局部最优解
• 计算资源不够导致在迭代优化过程中训练迭代次数不够

过拟合的原因：
较大容量的学习器容易过拟合，因为：

• 函数族相对于训练数据集的大小太大，所以拟合得训练数据集非常好
• 没有足够的数据
• 分离的验证集选择了更合适的那个参数

减小模型容量的方法：

• 减少特征数量
• 减少独立参数的数量
• 减小深度模型的网络大小
• 减少训练迭代次数
• 加入正则化项
• ……

四，深度学习工具