《Python深度学习》第一章 什么是深度学习

学习时间：2021年9月16日

1.1 人工智能、机器学习与深度学习

用三张图理解深度学习的工作原理

1. 权重与参数
   神经网络中，每层对输入数据所做的具体操作保存在该层的权重（weight）中，其本质是一串数字。
   大白话来讲，权重就是该层的参数（parameter）
   
2. 损失函数（loss function）（=目标函数objective function）：输出与预期值之间的距离
   
3. 优化器（optimizer）和反向传播（optimizer）算法
   深度学习的基本技巧是利用距离值作为反馈信号来对权重值进行微调，以降低损失值。这种调节由优化器（optimizer）来完成，它实现了所谓的反向传播（backpropagation）算法，这是深度学习的核心算法。
   随着网络处理的示例越来越多，权重值也
   在向正确的方向逐步微调，损失值也逐渐降低。这就是训练循环（training loop），将这种循环重复足够多的次数，得到的权重值可以使损失函数最小。具有最小损失的网络，其输出值与目标值尽可能地接近，这就是训练好的网络。

1.2　深度学习之前：机器学习简史

1.3　为什么是深度学习，为什么是现在