智能优化算法
文章平均质量分 87
也129
这个作者很懒,什么都没留下…
展开
-
梯度下降法-优化算法-机器学习
其每轮计算的目标函数不再是全体样本误差,而仅是单个样本误差,即每次只代入计算一个样本目标函数的梯度来更新权重,再取下一个样本重复此过程,直到损失函数值停止下降或损失函数值小于某个设定的阈值。首先我们先确定前进的方向,也就是梯度的反向,然后走一段距离的步长,也就是α,走完这个段步长,就到达了Θ1这个点!在机器学习中,梯度下降法的根本目是在迭代中寻找损失函数的最小值,并通过反向传播的方式调整各个权重的大小,知道模型拟合程度达到指定要求。2.用步长乘以损失函数的梯度,得到当前位置下降的距离。原创 2023-02-15 12:32:55 · 444 阅读 · 0 评论 -
优化算法-遗传算法
启发式的算法基本思路:首先是根据了上一次的结果进行分析,其次是基本思想都是择优进化,好的根据一定策略实现更好,坏的根据一定的策略向好的方向发展,如果产生的新解不好,那么就不进行更新了,起码有一个保底,在使用最优算法的时候,需要保证一定空间搜索能力,保证不陷入局部最优的问题。基于达尔文的进化论,模拟了自然选择,物竞天择、适者生存,通过N代的遗传、变异、交叉、复制,进化出问题的最优解。将问题的可行解抽象成为可以被遗传算法使用的形式,需要根据不同的问题进行不同的抽象选择。eg:给定数值解范围为[1,10]原创 2023-02-14 15:00:25 · 152 阅读 · 0 评论 -
优化算法-模拟退火算法
举例上图搜索最小值,假设开始状态在A,多次迭代之后更新到B的局部最优解,这时发现更新到B时,能力比A要低,则说明接近最优解了,因此百分百转移,状态到达B后,发现下一步能量上升了,如果是梯度下降则是不允许继续向前的,如果我们采用一定的概率来接受这个差解,就有概率继续搜索。在一开始我们需要T值较大,这样根据函数的单调性,我们可以看出接受差解的P是较大的,便于我们对全局进行搜索,而在后期温度下降,T值变小,当温度趋于零时,只能接受目标函数下降的,这有利于我们尽快结束收敛,完成迭代。能量越低,被接受的概率越高。原创 2023-02-13 15:56:15 · 1856 阅读 · 0 评论 -
智能优化算法-粒子群算法
每个粒子在搜索空间中单独的搜寻最优解,并将其记为当前个体极值,并将个体极值与整个粒子群里的其他粒子共享,找到最优的那个个体极值作为整个粒子群的当前全局最优解,粒子群中的所有粒子根据自己找到的当前个体极值和整个粒子群共享的当前全局最优解来调整自己的速度和位置。粒子群算法的思想源于对鸟/鱼群捕食行为的研究,模拟鸟集群飞行觅食的行为,鸟之间通过集体的协作使群体达到最优目的,简单的说,就是一群鸟在随机搜索食物。PSO的缺点:容易陷入局部最优,前期w,c1应该大,后期c2大,但由于参数固定,导致收敛速度慢。原创 2023-02-11 16:00:15 · 1287 阅读 · 2 评论