李宏毅——第一节机器学习基本概念简介

一、机器学习的概念

    目的：让机器找一个函数
    函数的类别：
    1. regression回归:函数输出一个数值
    2. classification分类:函数输出正确的选项

二、机器找函数的三个步骤

    1.猜测函数的数学式长什么样子
    2.定义一个损失函数
    损失函数的值代表了真实值与预测值之间的差距，
    通常来说，损失函数值越小，
    代表模型的预测就越接近真实值。
    常用的损失函数如下图所示：MAE、**MSE 等

3.采用梯度下降法求解使得函数表达式的Loss最小的参数

三、视频播放量预测案例

优化方法：

1. 使用前一段时间的播放量来预测明天的播放量（增加训练样本）
   
   2.采用非线性函数表达式

现实的曲线（红色线），可能在某一段为线性关系，但总体来看为非线性
红色的线可以看为一个常数加上很多蓝色线

[用蓝色的点点函数（sigmoid function）表示上面的蓝色函数]

蓝色的函数：hard sigmoid 样式都是横折横
w:斜率
b:左右移动
c:高度


0+1+2+3 表示出红色的函数






每更新一个参数叫1update ，所有的batch算完叫1epoch

深度学习中的“深度”指的是多层的神经网络。了解了单层神经网络的基本原理之后，要想实现多层神经网络就很简单了，只需要将第i层的输出作为第i+1层的输入即可实现


从上图我们可以看到，网络层数在1-3之间时，随着层数增加，测试集损失值在逐渐下降。但是，到第4层的时候，测试集的损失值反而上升了。我们把这种现象称为“过拟合”

过拟合：模型过于复杂，学到了很多噪声，导致训练集loss下降，但是验证集loss上升