（笔记）第一章：零基础入门深度学习

人工智能、机器学习、深度学习的关系

机器学习

专门让计算机去模拟或实现人类的学习行为

机器学习的实现

机器学习的实现可以分成两步：训练和预测，类似于我们熟悉的归纳和演绎：

• 归纳：从具体案例中抽象一般规律。从大量样本中得到Y与X的关系
• 演绎：从一般规律推导出具体案例的结果。输入新的X到Y的式子中

确定模型参数

衡量模型预测值和真实值差距的评价函数也被称为损失函数（损失Loss）

模型假设、评价函数（损失/优化目标）和优化算法是构成模型的三个部分

模型结构介绍

• 模型假设： 假设空间先圈定了一个模型能够表达的关系可能，机器还会进一步在假设圈定的圆圈内寻找最优的Y~X关系，即确定参数W。
• 评价函数： 寻找最优之前，我们需要先定义什么是最优，即评价一个Y~X关系的好坏的指标。通常衡量该关系是否能很好的拟合现有观测样本，将拟合的误差最小作为优化目标。
• 优化算法： 设置了评价指标后，就可以在假设圈定的范围内，将使得评价指标最优（损失函数最小/最拟合已有观测样本）的Y~X关系找出来，这个寻找的方法即为优化算法。最笨的优化算法即按照参数的可能，穷举每一个可能取值来计算损失函数，保留使得损失函数最小的参数作为最终结果。

深度学习

机器学习和深度学习在理论结构上是一致的，即：模型假设、评价函数和优化算法，其根本差别在于假设的复杂度。

人脑可极快的反应出这是一位美女。但对计算机而言，只能接收到一个数字矩阵，对于美女这种高级的语义概念，从像素到高级语义概念中间要经历的信息变换的复杂性是难以想象的！这种变换已经无法用数学公式表达，因此研究者们借鉴了人脑神经元的结构，设计出神经网络的模型。

神经网络的基本概念

人工神经网络包括多个神经网络层，如卷积层、全连接层、LSTM等，每一层又包括很多神经元，超过三层的非线性神经网络都可以被称为深度神经网络。通俗的讲，深度学习的模型可以视为是输入到输出的映射函数，如图像到高级语义（美女）的映射，足够深的神经网络理论上可以拟合任何复杂的函数。因此神经网络非常适合学习样本数据的内在规律和表示层次，对文字、图像和语音任务有很好的适用性。因为这几个领域的任务是人工智能的基础模块，所以深度学习被称为实现人工智能的基础也就不足为奇了。

• 神经元： 神经网络中每个节点称为神经元，由两部分组成：
• 加权和：将所有输入加权求和。
• 非线性变换（激活函数）：加权和的结果经过一个非线性函数变换，让神经元计算具备非线性的能力。
• 多层连接： 大量这样的节点按照不同的层次排布，形成多层的结构连接起来，即称为神经网络。
• 前向计算： 从输入计算输出的过程，顺序从网络前至后。
• 计算图： 以图形化的方式展现神经网络的计算逻辑又称为计算图。我们也可以将神经网络的计算图以公式的方式表达如下：
  Y = f 3 ( f 2 ( f 1