- 博客(4)
- 收藏
- 关注
RSS订阅原创 梯度法有哪些？
为啥要提出梯度法？因为机器学习的主要任务就是在学习时寻找最优参数。啥叫最优参数？就是使损失函数值最小时的权重和偏置。而损失函数很复杂，参数空间庞大，使用梯度来寻找函数最小值的方法就是梯度法。梯度法使用梯度信息决定前进方向。由全部变量的偏导数汇总而成的向量成为梯度（gradient）。梯度指示方向是各点处函数值减少最多的方向，因此无法保证梯度所指方向就是函数最小值或真正应该前进的方向。因为函数的极小值、最小值以及被成为鞍点（saddle point）的地方，梯度都为0。极小值是局部最小值，也就是限定在某个范围
2022-04-25 20:44:35
3152
原创 损失函数有哪些
“学习”也称“训练”，算法从数据中学习模型。“推理”，用学习到的模型参数对未知的数据进行分类。推理处理也成为神经网络的前向传播（forward propagation），就是从输入到输出。对于线性可分问题，感知机可以利用数据自动学习，根据“感知机收敛定理”通过有限次数的学习，线性可分问题是可解的。但是。非线性可分问题则无法通过（自动）学习来解决。如何有效利用数据，一种方案是，先提取特征量再利用机器学习技术学习这些特征量的模式。特征量是指可以从输入数据中准确提取本质数据的转换器。图像中的特征量通常
2022-04-19 09:39:47
127
原创 激活函数有哪些
激活函数是连接感知机和神经网络的桥梁。朴素感知机是指单层网络，指的是激活函数使用了阶跃函数的模型。多层感知机是指神经网络，即使用sigmoid函数等平滑的激活函数的多层网络。sigmoid函数神经网络和感知机的主要区别就在于这个激活函数。sigmoid函数的平滑性对神经网络的学习具有重要意义。阶跃函数只能返回0和1，sigmoid函数可以返回连续的实数。但是阶跃函数和sigmoid函数都是非线性函数，sigmoid函数是一条曲线，阶跃函数是一条折线。啥叫函数？函数就是输入某个值返回一个值
2022-04-10 15:57:20
1150
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人