机器学习基本概念
机器学习就是找一个函数
机器学习的任务——回归,分类和structrued learning
回归输出的是数值,分类输出的是类别 。structrued learning是让机器生成一个有结构的物体,比如生成一张图,生成一篇文章等。
找到函数的方法
1、定义一个模型
2、定义Loss function
Loss是一个函数,输入是定义模型中的参数
3、优化器
目的:找到参数的值,使得Loss最小
未知参数:机器自己训练得到
超参数:自己给定
梯度下降:首先给未知参数一个初始值,然后求Loss对参数的微分,现在的参数值减去学习率乘以微分的值就是新的参数值
深度学习的基本概念
将复杂的线段理解为一个常数加上多个激活函数(只要激活函数足够多,就可以表示各种复杂线段)
从而引出神经网络的结构
接下来使用机器学习中找到函数的方法对上述式子进行研究
第一步:定义一个模型
用表示所有未知参数
第二步:定义Loss函数
给定一组参数,计算给定参数的结果和真实结果的差异值e,然后对e进行平均
第三步:优化器
目的:找一组,让Loss的数值越小越好
梯度下降:首先随机初始化一组参数,对
中所有参数求微分,然后修改
的值(通过学习率控制速度)
在实际工作中,经常会将数据分为多个batch,对每一个batch求Loss并使用梯度下降进行优化,每一个优化称为一个updata,将所有batch都求Loss并优化后成为一个epoch