PaddlePaddle第一周学习笔记

• 1.前言
• 2.机器学习和深度学习综述
  • 关系：人工智能>机器学习>深度学习
  • 机器学习：机器学习是专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构，使之不断改善自身的性能。
    • 机器学习的实现：
      • 归纳： 从具体案例中抽象一般规律，机器学习中的“训练”亦是如此。从一定数量的样本（已知模型输入X和模型输出Y）中，学习输出Y与输入X的关系（可以想象成是某种表达式）。
      • 演绎： 从一般规律推导出具体案例的结果，机器学习中的“预测”亦是如此。基于训练得到的Y与X之间的关系，如出现新的输入XXX，计算出输出YYY。通常情况下，如果通过模型计算的输出和真实场景的输出一致，则说明模型是有效的。
    • 机器学习的方法论
      • 确定模型参数
        • 以HHH为模型的假设，它是一个关于参数W和输入X的函数，用H(W,X) 表示。模型的优化目标是H(W,X)的输出与真实输出YYY尽量一致，两者的相差程度即是模型效果的评价函数（相差越小越好）。那么，确定参数的过程就是在已知的样本上，不断减小该评价函数（H(W,X) 和Y相差）的过程，直到学习到一个参数W，使得评价函数的取值最小。这个衡量模型预测值和真实值差距的评价函数也被称为损失函数（损失Loss）

          

      • 模型结构介绍

        

        • 模型假设：世界上的可能关系千千万，漫无目标的试探Y~X之间的关系显然是十分低效的。因此假设空间先圈定了一个模型能够表达的关系可能，如蓝色圆圈所示。机器还会进一步在假设圈定的圆圈内寻找最优的Y~X关系，即确定参数W。
        • 评价函数：寻找最优之前，我们需要先定义什么是最优，即评价一个Y~X关系的好坏的指标。通常衡量该关系是否能很好的拟合现有观测样本，将拟合的误差最小作为优化目标。
        • 优化算法：设置了评价指标后，就可以在假设圈定的范围内，将使得评价指标最优（损失函数最小/最拟合已有观测样本）的Y~X关系找出来，这个寻找的方法即为优化算法。最笨的优化算法即按照参数的可能，穷举每一个可能取值来计算损失函数，保留使得损失函数最小的参数作为最终结果。
        • 机器执行学习的框架体现了其学习的本质是“参数估计”（Learning is parameter estimation）

          

    • 深度学习

      

      • 神经网络的基本概念

        

        • 神经元： 神经网络中每个节点称为神经元，由两部分组成：
          • 加权和：将所有输入加权求和。
          • 非线性变换（激活函数）：加权和的结果经过一个非线性函数变换，让神经元计算具备非线性的能力。
        • 多层连接： 大量这样的节点按照不同的层次排布，形成多层的结构连接起来，即称为神经网络。
        • 前向计算： 从输入计算输出的过程，顺序从网络前至后。
        • 计算图： 以图形化的方式展现神经网络的计算逻辑又称为计算图。我们也可以将神经网络的计算图以公式的方式表达如下：
        • Y=f3(f2(f1(w1⋅x1+w2⋅x2+w3⋅x3+b)+…)…)…)
      • 深度学习的发展历程
        • 大数据是神经网络发展的有效前提
        • 依靠硬件的发展和算法的优化
        • 在深度学习兴起之前，很