机器学习新手入门第一章 笔记01#夏令营#Datawhale X 李宏毅苹果书AI夏令营

1. 机器学习

          1.1 概念：机器学习就是让机器具备找一个函数的能力（找一个函数是指能够找到一个描述某一个场景的数学规律的函数模型，具体方法大致是：机器运行算法，通过输入的数据，构建一个合适的函数参数，接近这个实际的场景）

        1.2 类型

     主要分为两大类型

               回归（regression）：函数的输出是一个数值或标量

               分类（classification）：函数的输出是从设定好的选项中筛选一个结果输出

此外还有一个类型 结构化学习（structured learning）：产生一个结构化的结果。机器不是要做选择题或输出一个数字，而是产生一个有结构的物体，比如让机器画一张图，写一篇文章。这种叫机器产生有结构的东西的问题称为结构化学习。

         1.3 模型   （机器所找的那个函数）  

            1.3.1 概念：  带有未知的参数（parameter）的函数称为模型（model）。模型在机器学习里面，就是一个带有未知的参数的函数。以y = b + w ∗ x1为例，特征（feature） x1 是这个函数里面已知的，而 w 跟 b 是未知的参数。w 称为权重（weight），b 称为偏置（bias）。

         1.3.2 损失 

          损失也是函数 L(b, w)  可以用于评价参数的准确性（机器所构建的函数所输出的结果与实际  场景总会有些误差）      

        平均绝对误差：e = |yˆ − y|

        均方误差：e = (y ˆ − y)2

        交叉熵：当y 和 yˆ 都是概率分布时可能会用到

         对于其他特定的问题，会有其适合的损失函数，并不仅限于上面的三种。

      误差表面

（ 根据不同的参数，计算它的损失，画出来的等高线图（w-b的相关图）称为误差表  面（error surface））

    

                      （ L就是所计算出来的误差，颜色越偏蓝误差越小）

        1.3.4 最优化 （调整参数使损失L的值最小）

          方法：梯度下降（只是众多优化方法中的一种）

          对参数w与b随便选一个初始的值，先计算w 对 L 的微分，再计算一下 b 对 L 的微分，接下来更新 w 跟 b，更新的方向就是 ∂L/∂w，乘以 η （学习率）再乘以一个负号，∂L/∂b，算出这个微分的值（总结来说就是第一步：取初始点，求微分；第二步：不断调整参数，直到得到全局最小值。）