目录:
1.1 任务内容
1.2 什么是机器学习
1.3 损失函数
--------------------------------------------------------------------------------------------------------------------------
1.1 任务内容
1.2 什么是机器学习
首先简单介绍一下机器学习(Machine Learning,ML)和深度学习(Deep Learning,DL)的基本概念。机器学习,顾名思义,机器具备有学习的能力。具体来讲,机器学习就是让机器具备找一个函数的能力。分为:
回归:假设要找的函数的输出是一个数值,一个标量(scalar),这种机器学习的任务称为回归。
分类:分类任务要让机器做选择题。人类先准备好一些选项,这些选项称为类别(class),现在要找的函数的输出就是从设定好的选项里面选择一个当作输出,该任务称为分类。
结构化学习:。机器不只是要做选择题或输出一个数字,而是产生一个有结构的物体,比如让机器画一张图,写一篇文章。这种叫机器产生有结构的东西的问题称为结构化学习。
1.3 损失函数
估计与实际的误差,常见的有均方误差(Mean SquaredError,MSE)。
模型中不同的损失画出来的等误差线图,称为误差表面(error surface)
一种使损失函数最小化的方法:梯度下降法-首先要随机选取一个初始的点 w0。接下来计算 ∂L∂w |w=w0,在 w 等于 w0 的时候,参数 w 对损失的微分。计算在这一个点,在 w0 这个位置的误差表面的切线斜率,也就是这一条蓝色的虚线,它的斜率,如果这一条虚线的斜率是负的,代表说左边比较高,右边比较低。在这个位置附近,左边比较高,右边比较低。如果左边比较高右边比较低的话,就把 w 的值变大,就可以让损失变小。如果算出来的斜率是正的,就代表左边比较低右边比较高。左边比较低右边比较高,如果左边比较低右边比较高的话,就代表把 w 变小了,w 往左边移,可以让损失的值变小。这个时候就应该把 w 的值变小。
每次移动的间隔叫称为学习率(learning rate)也是一种超参数(hyperparameter)
梯度下降法存在的问题:找到的最优点可能只是局部最优而非全局最优