前言
本文为Datawhale社区的AI夏令营第五期方向1的Task01的学习笔记分享,主要内容为李宏毅老师所写的《深度学习》结合Datawhale社区的讲解视频,为深度学习基础知识。相关链接:DatawhaleAI夏令营报名链接
本文涉及关键词:机器学习(MachineLearning,ML),深度学习(Deep Learning, DL),回归(regression),分类(classification,),模型(model),参数 (parameter),特征(feature),权重(weight),偏置(bias),为平均绝对误差(Mean Absolute Error,MAE),均方误差(Mean Squared Error,MSE),交叉熵(cross entropy),梯度下降(gradient descent),学习率(learning rate),超参数(hyperparameter)
1.机器学习和深度学习概念
机器学习,顾名思义,机器具备有学习的能力。具体来讲,机器学习就是让 机器具备找一个函数的能力。机器具备找函数的能力以后,它可以做很多事。比如语音识别,图像识别等。
深度学习是机器学习的一个子领域,主要关注通过神经网络进行学习和推理。它使用多层(深层)网络结构来自动学习和提取数据中的特征。主要概念包括:神经网络,前向传播,反向传播,激活函数,损失函数等。
2.通过案例学习了解其他概念
2.1模型
我们将以y=w*x+b当作模型来进行具体的分析和讲解。
其中w叫做权重,b叫做偏置。
2.2数据集
例如(1,4800),(2,4900),(3,7500)…像这样对应(x,y)的数据集,其中x为特征,y为标签。
2.3误差
我们随机初始化w和b,然后随机带入一个x,比如x=1,然后得到了一个与4800(我们想要的结果)不同的数字,可能是4700或者4500之类的不是我们想要的数字,这个我们称为y^即估测的值。
y(标签)与y^(估测的值)的差值,我们称为误差。
误差函数分为许多种,根据实际情况来选择最适合的误差函数,书中主要提及两种误差函数:
- 平均绝对误差: f(yˆ,y)=|yˆ−y|
- 均方误差: f(yˆ,y)=(yˆ−y)2
2.4优化
我们发现y ˆ (估测的值)和y(标签)并不一样,所以现在我们需要来改变w和b来使y^和y变的一样或者接近,这个时候就需要优化了。
书中主要提及的是梯度下降,其原理为:保持w和b个参数一个不变,另一个通过偏导数求导,然后得到损失,通过计算损失(LOSS)与w(或者b)的偏导数即斜率,再乘以学习率然后减去这个数字,完成优化,如图:
2.5超参数
超参数:诸如学习率,批大小(后期会讲到)之类的需要人为操作修改的参数,我们称之为超参数。
3.小结
本次主要学习了机器学习的一些基础知识,并且了解到了一些相关学术词及其概念。
本文的最后,欢迎大家一起参加AI夏令营学习,让我们一起营造更加活跃的AI学习氛围,学习更为前瞻的AI知识,祝各位在学习道路上一帆风顺~!