优化算法
文章平均质量分 71
leo鱼
这个作者很懒,什么都没留下…
展开
-
优化算法-遗传算法
遗传算法同模拟退火法一样也是受自然科学的启发,它模拟物竞天择的生物进化过程,通过维护一个潜在解的群体执行了多方向的搜索,并支持这些方向上的信息构成和交换。通过点和面的搜索发现全局最优解。遗传算法步骤:1.随机生成一组解,称之为群组。在优化过程的每一步,计算整个群组的成本函数,再将之排序。2.生成新群组:精英选拔:将当前群组中位于最顶端的一部分题解加入新的群组中修原创 2015-11-23 18:31:13 · 1888 阅读 · 0 评论 -
优化方法-模拟退火法
模拟退火法是针对爬山法只能求出局部最优解提出来的。模拟退火法其实也是一种贪心法,但是他搜寻最优解的过程中引入了随机因素,允许在中间的计算过程中按照一定的概率来接受相对较差的中间结果,因此它有可能调出局部最优解寻找到全局的最优解。模拟退火法算法描述:若J(Y(I+1)) >= J(Y(I)) (即移动后得到更优解)则总是接受该移动若J(Y(I+1)) 上行中一定的概率参考了冶金中原创 2015-11-23 15:31:11 · 939 阅读 · 0 评论 -
优化方法-爬山法
爬山法是一种局部最优的算法(本质上属于贪心法),也属于启发式的方法,它一般只能得到局部最优解。当优化的问题的局部最优解即为全局最优解时可以用此方法来求最优问题,否则可以考虑多次爬山法或者其他的方法如遗传算法和模拟退火法。一、原理爬山法一般从一个随机的解开始,然后逐步找到一个最优解(局部最优)。 假定所求问题有多个参数,我们在通过爬山法逐步获得最优解的过程中可以依次分别将某个参数的值增加或者转载 2015-11-18 17:56:49 · 7122 阅读 · 0 评论 -
机器学习正则化(Regularization)
1. The Problem of Overfitting1还是来看预测房价的这个例子,我们先对该数据做线性回归,也就是左边第一张图。如果这么做,我们可以获得拟合数据的这样一条直线,但是,实际上这并不是一个很好的模型。我们看看这些数据,很明显,随着房子面积增大,住房价格的变化趋于稳定或者说越往右越平缓。因此线性回归并没有很好拟合训练数据。我们把此类情况称为欠转载 2016-03-04 11:20:59 · 546 阅读 · 0 评论 -
正则化方法L1和L2
正则化方法:防止过拟合,提高泛化能力在训练数据不够多时,或者overtraining时,常常会导致overfitting(过拟合)。其直观的表现如下图所示,随着训练过程,网络在training data上的error渐渐减小,但是在验证集上的error却反而渐渐增大——因为训练出来的网络过拟合了训练集,对训练集外的数据却不work。为了防止overfitting,可以用的方转载 2016-03-04 13:37:47 · 2497 阅读 · 0 评论 -
损失函数(loss function)
通常而言,损失函数由损失项(loss term)和正则项(regularization term)组成。发现一份不错的介绍资料:http://www.ics.uci.edu/~dramanan/teaching/ics273a_winter08/lectures/lecture14.pdf (题名“Loss functions; a unifying view”)。转载 2016-02-03 14:36:29 · 3415 阅读 · 0 评论 -
优化算法-梯度下降法
梯度下降法是一个最优化算法,它采用迭代的方式,沿着负梯度方向(梯度的值的负方向)来小步长的搜寻最优解。当越接近最终的目标,它的搜索速度越慢。求解方法其迭代公式为 ,其中 代表梯度负方向, 表示梯度方向上的搜索步长。梯度方向我们可以通过对函数求导得到,步长的确定比较麻烦,太大了的话可能会发散,太小收敛速度又太慢。一般确定步长的方法是由线性搜索算法来确定,转载 2015-11-27 14:46:22 · 899 阅读 · 0 评论