![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
最优化学习
水野与小太郎
blockchain & tensorflow ...learner...
展开
-
最优化方法:线性规划与非线性规划(02)单纯形法与K-T定理(KKT条件)
原创 2020-01-31 22:42:39 · 3700 阅读 · 1 评论 -
最优化方法:线性规划与非线性规划(01)基础
原创 2020-01-31 22:35:08 · 799 阅读 · 0 评论 -
最优化方法:经典优化方法(02)
原创 2020-01-15 18:55:19 · 424 阅读 · 0 评论 -
最优化方法:经典优化方法(01)
原创 2020-01-15 16:47:25 · 510 阅读 · 0 评论 -
小白最优化学习(五) 牛顿法
先简单回顾下:一、什么是最优化 引用主要研究以下形式的问题:给定一个函数 ,寻找一个元素 使得对于所有中的, 或者 。 这类定式有时还称为“数学规划”(譬如,线性规划)。许多现实和理论问题都可以建模成这样的一般性框架。 典型的,一般为欧几里得空间中的子集,通常由一个必须满足的约束等式或者不等式来规定。 的元素被称为是可行解。函数被称为目标函数,或者...原创 2018-10-24 14:05:33 · 725 阅读 · 0 评论 -
小白最优化学习(四) 算法学习 不精确一维搜索方法
一、什么是不精确一维搜索方法一维搜索方法是 求函数的最小值,来得到最优步长,不精确一维搜索方法,即保证目标函数在每次迭代有满意的下降量的方法。到一次满意的水平,就是可接受步长。二、几个不精确一维搜索方法的准则 引用地址line search(一维搜索,或线搜索)是最优化(Optimization)算法中的一个基础步骤/算法。它可以分为精确的一维搜索以及不精确的一维搜索两大类。在本文...转载 2018-10-14 14:20:35 · 6283 阅读 · 0 评论 -
小白最优化学习(三) 算法学习 一维搜索算法
一、一维搜索算法1、确定搜索方向,即按照一定的规则,构造f在点处的下降方向作为搜索方向2、确定步长因子,是目标函数值有某种意义下的下降3、令,若满足某种终止条件则终止迭代,得到近似最优解,否则,重复上述步骤在上述迭代算法中,当方向确定后,涉及到求一个步长,使得目标函数值减小(极小值问题),这就是在一直线上求目标函数的极小点,即极小化。则称为alpha对变量的一维搜索问题,或称为...原创 2018-10-13 16:59:16 · 2650 阅读 · 0 评论 -
小白最优化理论学习(二) 凸集
Thanks介绍很多东西在高数中都有学过,比如什么是极大值,极小值,什么是鞍点之类的。一、仿射集首先了解空集和全空间是仿射集的极端例子。表示实数集,我们用表示所有n实数组成的线性空间。定义:对于集合 ,如果通过集合C中任意两个不同点之间的直线仍在集合C中,则称集合C为仿射(affine)。也就是说,C包括了在C中任意两点的线性组合,即:这个概念可以推广到n个点,即 ,其...原创 2018-10-12 16:54:14 · 1580 阅读 · 0 评论 -
小白最优化理论学习(一) 范数
一、什么是范数初学者的纠结。。其实我们不必纠结什么是范数这类问题,就好比什么是“数”这样,范数其实也就是一种对“数”的定义。大佬就是为了某种计算或使用的方便这么定义的,小白菜的我们只要知道世界上有种数(函数或者其他啥的,反正是某种东西)叫做范数就OK了。那么究竟是怎么定义的呢!请看下面:网上通常比较好记忆的方式是 把范数看做距离,即满足非负性-齐次性-三角不等式,也是很好记忆。...原创 2018-10-10 11:18:30 · 2329 阅读 · 0 评论