![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
文章平均质量分 77
繁呐
深度学习研究生小白的学习笔记
展开
-
梯度法有哪些?
为啥要提出梯度法?因为机器学习的主要任务就是在学习时寻找最优参数。啥叫最优参数?就是使损失函数值最小时的权重和偏置。而损失函数很复杂,参数空间庞大,使用梯度来寻找函数最小值的方法就是梯度法。梯度法使用梯度信息决定前进方向。由全部变量的偏导数汇总而成的向量成为梯度(gradient)。梯度指示方向是各点处函数值减少最多的方向,因此无法保证梯度所指方向就是函数最小值或真正应该前进的方向。因为函数的极小值、最小值以及被成为鞍点(saddle point)的地方,梯度都为0。极小值是局部最小值,也就是限定在某个范围原创 2022-04-25 20:44:35 · 3127 阅读 · 0 评论 -
损失函数有哪些
“学习”也称“训练”,算法从数据中学习模型。“推理”,用学习到的模型参数对未知的数据进行分类。推理处理也成为神经网络的前向传播(forward propagation),就是从输入到输出。对于线性可分问题,感知机可以利用数据自动学习,根据“感知机收敛定理”通过有限次数的学习,线性可分问题是可解的。但是。非线性可分问题则无法通过(自动)学习来解决。如何有效利用数据,一种方案是,先提取特征量再利用机器学习技术学习这些特征量的模式。特征量是指可以从输入数据中准确提取本质数据的转换器。图像中的特征量通常原创 2022-04-19 09:39:47 · 124 阅读 · 0 评论 -
激活函数有哪些
激活函数是连接感知机和神经网络的桥梁。朴素感知机是指单层网络,指的是激活函数使用了阶跃函数的模型。多层感知机是指神经网络,即使用sigmoid函数等平滑的激活函数的多层网络。sigmoid函数神经网络和感知机的主要区别就在于这个激活函数。sigmoid函数的平滑性对神经网络的学习具有重要意义。阶跃函数只能返回0和1,sigmoid函数可以返回连续的实数。但是阶跃函数和sigmoid函数都是非线性函数,sigmoid函数是一条曲线,阶跃函数是一条折线。啥叫函数?函数就是输入某个值返回一个值原创 2022-04-10 15:57:20 · 1147 阅读 · 0 评论