Optimization for Data Science学习笔记-7

最新推荐文章于 2023-01-29 17:18:11 发布
最新推荐文章于 2023-01-29 17:18:11 发布
阅读量225 收藏
点赞数
分类专栏： optimization padova 文章标签： 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43957565/article/details/121292384
版权

课程7

讲述了三种不同的 BCGD 块坐标梯度下降法 block coordinate gradient descent
首先是BCGD with Gauss-Southwell Rule
在这里插入图片描述
参考：https://kns.cnki.net/kcms/detail/detail.aspx?dbcode=CJFD&dbname=CJFD8589&filename=GXKZ198502004&uniplatform=NZKPT&v=kAy_09s4xduVf2tCPLg1XCMMO5-eeeZIHGpwk-YnmbfxKz9bzI7rCnCh0pPeu7UL
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
对于稀疏结果的优化问题，Gauss-Southwell坐标轴选择是非常有效率的。

然后是随机块坐标轴梯度下降法

本来是随机选取坐标轴的，现在为了improve the rate，可以改进步长：步长更大些7P21；还可以改变选取坐标轴规则，不是等概率随机选择的，而是由更大莱布尼兹常数的坐标轴更容易被选择7P21。

最后是循环块坐标轴梯度下降法

循环是指每个坐标轴都过一边，求对x进行一次更新，最后更新完的x就是最终的这一步迭代的x
在这里插入图片描述
它是确定性算法
？什么是确定性算法？ -若对于一个算法,给定当前状态和输入,若该算法只有一个动作可供选择,那么该算法是确定选择。
但是收敛速度比其他块坐标轴梯度下降速度更慢

+1+1+1+1+1
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
基于方形域内标准正交矢量多项式的波前重建
02-05
获得了一组方形域内标准正交的矢量多项式集，可以用于方形域内图像畸变映射及波前梯度等矢量数据的拟合。这组矢量多项式是用Gram-Schmidt方法将泽尼克梯度多项式标准正交化后得到的。由该矢量函数拟合被测波前斜率，拟合系数经过简单的线性变换就可以直接得到用泽尼克多项式描述的波前，获得被测波前的相位信息。实验结果表明，该矢量集可以对夏克哈特曼传感器测得的方形孔径内的斜率进行很好的拟合。这种矢量拟合重构方法能获得很好的被测波前，具有与Southwell区域法相同的精度。
Ant Colony Optimization for Task Allocation in Multi-Agent Systems
02-09
Based on the traditional parallel computing task allocation method and Ant Colony Optimization(ACO), a novel task allocation method named Collection Path Ant Colony Optimization(CPACO) is proposed to
SCA（successive convex approximation）学习
qq_45542321的博客
01-16 6659
SCA（successive convex approximation）学习
坐标下降法（coordinate descent method）求解LASSO的推导
weixin_30633507的博客
05-16 2358
坐标下降法（coordinate descent method）求解LASSO推导 LASSO在尖点是singular的，因此传统的梯度下降法、牛顿法等无法使用。常用的求解算法有最小角回归法、coordinate descent method等。 由于coordinate descent method是相对较简单的做法，放在第一个介绍。 坐标下降法思想 坐标下降法基于的思想很简单，就是当面对最小化...
【源码】采用高斯-索思韦尔准则实现比随机选择收敛更快的坐标下降法
weixin_42825609的博客
09-14 533
从Nesterov的工作开始，最近关于随机坐标下降算法的理论和应用已经进行了大量工作，表明随机坐标选择准则能达到与高斯-索思韦尔选择准则相同的收敛速度。 There has been significant recent work on the theory and application ofrandomized coordinate descent algorithms, beginning...
Optimization for Data Science学习笔记-5
weixin_43957565的博客
11-11 867
课程5 介绍了一些无约束优化的算法 确定下降方向d（or d_k）是算法的核心，不同算法的收敛效果不同。 首先是基于梯度的算法 回顾上一课程内容，当 满足时d就是下降方向。 （要清楚如果光 有d是下降方向是不能得出上面图片这个公式的，需要满足f是凸函数） 根据Cauchy-scwarz inequality 可得d_k≥负梯度，所以下降方向取负梯度方向（证明看5P5）。 怎么理解负梯度就是下降方向？-如果单调上升，梯度为正，负梯度为负->x应减少；如果单调下降，梯度为负，负梯度为正->x应增
结构光学习 | 波前重构技术
Eason_Y的博客
11-24 2228
介绍波前重构技术
区域法(zonal method)重构波前
EyRe1的博客
03-30 4365
目的：实现区域法的Matlab代码 1.理论介绍 区域法波前重构即从波前探测器测得的波前斜率中恢复出波前的相位值，其分为：休晋模型（Hudgin）[90]、绍契威尔模型（Southwell）[40]和弗雷德模型（Fried）[48]。 1.1 Fried模型，对于N×N微透镜阵列构成的网格： 以3*3的子透镜为例，解释上式，对其展开 改写为矩阵形式： 记作：S=AΦ，A根据N而确定。S是波前探测器测得的斜率，Φ是重构矩阵的相位值。 1.2 而Southwel...
Invasive weed optimization algorithm for optimization no-idle flow shop scheduling problem
02-09
In this paper, an invasive weed optimization (IWO) scheduling algorithm is presented for optimization no-idle flow-shop scheduling problem (NFSP) with the criterion to minimize the maximum completion ...
Scaling simultaneous optimistic optimization for high-dimensional non-convex functions with low effective dimensions
02-21
Simultaneous optimistic optimization (SOO) is a recently proposed global optimization method with a strong theoretical foundation. Previous studies have shown that SOO has a good performance in ...
Block-Coordinate Gradient Descent method
03-15
We consider the problem of minimizing the weighted sum of a smooth function f and a convex function P of n real variables subject to m linear equality constraints. We propose a block-coordinate gradient descent method for solving this problem, with the coordinate block chosen by a Gauss-Southwell-q rule based on sufficient predicted descent. We establish global convergence to first-order stationarity for this method and, under a local error bound assumption, linear rate of convergence. If f is convex with Lipschitz continuous gradient, then the method terminates in O(n2/) iterations with an -optimal solution. If P is separable, then the Gauss- Southwell-q rule is implementable in O(n) operations when m = 1 and in O(n2) operations when m>1. In the special case of support vector machines training, for which f is convex quadratic, P is separable, and m = 1,
southwell模型-区域法重构算法-实例验证.zip
01-14
目前哈特曼波前传感器波前重建的算法主要有两种，即区域波前重建法和模式波前重建法。 而区域法重构按求解方法又可分为快速傅里叶变换法，迭代求解法，矩阵向量法等。 本资源给出了区域法重构算法实际例子， 资源具体内有以下资源： Slope_X.mat； Slope_Y.mat； 区域法重构.m 可直接运行！
matlab代码粒子群算法-Self-Adaptive-Particle-Swarm-Optimization-for-Large-Scale
05-27
13号5，第1-2-7页，2019年。 @article {xue2019EvoFS，作者= {Xue，Yu and Xue，Bing and Zhang，Mengjie}，标题= {在分类中用于大规模特征选择的自适应粒子群优化}，期刊= {ACM Transactions on Data from ...
Optimization Methods for Large-Scale Machine Learning
01-13
In fact, it has been around for decades in some specialized applications, such as Optical Character Recognition (OCR). But the first ML application that really became mainstream, improving the lives ...
PMD相位提取及相位展开简述
ying_xiao_luluna的博客
01-29 2325
PMD的相位提取以及展开
从梯度场重建图像
恰同学少年的博客
06-10 7309
转自：http://jiashu.blog.163.com/blog/static/1765790352011411222152/ 很多图像处理的算法是在图像的梯度域完成的。比如图像增强、图像的融合、图像的边缘检测和分割等。在这些算法中或者一部分或者全部在梯度域中完成。       图像梯度的概念很简单。图像梯度可以把图像看成二维离散函数，图像梯度其实就是这个二维离散函数的求导：
2022春季《最优化方法》复习笔记
rd142857的博客
06-04 572
f(x)=g(x1,⋯ ,xp)=∑i=1pfi(xi), fi(xi)=...f∗(y)=g∗(y1,⋯ ,yp)=∑i=1pfi∗(yi), fi∗(yi)=... f(x)=g(x_1,\cdots,x_p)=\sum_{i=1}^p f_i(x_i), \ f_i(x_i)=... \\ f^*(y)=g^*(y_1,\cdots,y_p)=\sum_{i=1}^p f_i^*(y_i), \ f_i^*(y_i)=... f(x)=g(x1​,⋯,xp​)=i=1∑p​fi​(xi​), fi​(
Optimization for Data Science学习笔记-4
weixin_43957565的博客
11-11 1911
课程4 接下来就开始学习具体的问题和解决问题的算法了~ 首先是无约束问题 unconstrained problems 之前学习的回顾，什么是凸集、凸函数、局部最优解 参考：https://blog.csdn.net/qq_16608563/article/details/82757086 1. 无约束问题的最优性条件 optimality condition for unconstrained problems 所谓非线性规划的最优化条件，是指非线性规划模型的最优解所满足的必要条件或者充分条件。 无约束
坐标下降法(Coordinate descent)
热门推荐
aaron的专栏
10-26 4万+
首先介绍一个算法：coordinate-wise minimization 问题的描述：给定一个可微的凸函数，如果在某一点x，使得f(x)在每一个坐标轴上都是最小值，那么f(x)是不是一个全局的最小值。 形式化的描述为：是不是2对于所有的d，i都有3 这里的4代表第i个标准基向量。 答案为成立。 5 这是因为： 6 但是问题来了，如果对于凸函数f，若不可微该会怎样呢？ 7 答案
Data-Driven Crowd Design and Optimization for Product Innovation
最新发布
06-14
以下是 "Data-Driven Crowd Design and Optimization for Product Innovation" 论文的摘要： 本文提出了一种数据驱动的方法来建立众包设计场景模型，以支持产品创新。该方法使用机器学习技术来分析众包数据，并基于此生成场景模型。此外，本文还提出了一种优化方法，用于改善产品创新的效果。通过实验验证，本文证明了所提出的方法的有效性和实用性。结果表明，所提出的方法可以提高产品创新的效果，并有助于减少错误和成本。本文的工作为基于众包的产品创新提供了一种新的方法和思路。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值