在Tensorflow 1.14和1.15 中如何使用LBFGS优化方法

已于 2022-09-29 07:24:34 修改
阅读量1k 收藏 1
点赞数 1
分类专栏： python tensorflow学习 文章标签： python
于 2022-09-28 23:30:53 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kkxi123456/article/details/127098355
版权

最近想使用二阶优化方法l-BFGS进行神经网络的优化，发现pytorch的optimizer已经实现的该方法，而tensorflow的trian模块没有包含。所以自己找了很久，找到了LBFGS优化方法。

参考链接:https://tensorflow.google.cn/versions/r1.15/api_docs/python/tf/contrib/opt

https://docs.scipy.org/doc/scipy/reference/optimize.minimize-lbfgsb.html

http://cn.voidcc.com/question/p-bvlbecgj-ub.html

https://www.w3cschool.cn/doc_tensorflow_python/tensorflow_python-tf-contrib-opt-scipyoptimizerinterface.html

scipy.optimize优化器的各种使用

tf.contrib.opt.ScipyOptimizerInterface

夜晓岚渺渺
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
CppNumericalSolvers：一个轻量级的C ++ 17库，用于非线性函数的数值优化方法（包括用于TensorFlow的L-BFGS-B）
01-30
CppNumericalSolvers：一个轻量级的C ++ 17库，用于非线性函数的数值优化方法（包括用于TensorFlow的L-BFGS-B）
multi-batch-LBFGS:这是多批次L-BFGS算法的实现，已在CIFAR-10数据集上进行了测试
05-09
多批次LBFGS 该代码是用于神经网络训练的革命性优化器的实现。 它的全名是“带CUDA的多批次L-BFGS优化器”。 如今，著名的机器学习框架（例如Tensorflow）通常提供“基于梯度”的优化器（GradientDescent，AdaGrad），该优化器通过计算梯度并将其应用于网络来发挥作用。 该代码为Tensorflow实现了一个经过优化的优化器，它采用了“多批L-BFGS”算法（一种基于准牛顿算法的变体），我覆盖了Tensorflow的优化器的默认实现，并定义了一种用于梯度计算的拟新方法，该方法结合了二阶信息，其执行方式比默认优化器更好。 此外，我通过介绍CUDA技术来优化此优化器。 我在GPU上分配计算步骤。 它将优化器的性能提高至少20％。
tf.contrib.opt.ScipyOptimizerInterface()里的参数解释
qq_38904904的博客
05-20 7054
minimize(method=’L-BFGS-B’) 下面这个函数，里面的参数不知道代表什么含义，搜了很久才找到。 原文链接 tf.contrib.opt.ScipyOptimizerInterface() 比如：Minimize a scalar function of one or more variables using the L-BFGS-B algorithm. scipy.optimize.minimize(fun, x0, args=(), method='L-BFGS-B', jac=
tensorflow怎么使用L-BFGS优化方法
MarTin Guo的博客
09-10 6538
L-BFGS优化方，可使用如下函数： self.Opt = contrib.opt.ScipyOptimizerInterface(self.loss, method="L-BFGS-B", options={'maxiter': 500, 'disp': 0}) self.Opt.minimize(self.sess, feed_dict={self.x: x, self.w: w}) ...
L-BFGS剖析
u014765410的博客
03-17 579
总结“拟牛顿算法”，“BFGS”，“L-BFGS”的区别，参考博文：L-BFGS剖析
无约束优化系列：（五）L-BFGS 算法
iin729的博客
02-01 682
机器学习算法中经常碰到非线性优化问题，如 Sparse Filtering 算法，其主要工作在于求解一个非线性极小化问题。在具体实现中，大多调用的是成熟的软件包做支撑，其中最常用的一个算法是 L-BFGS。为了解这个算法的数学机理，这几天做了一些调研，现把学习过程中理解的一些东西整理出来。 目录链接 (1)牛顿法 (2)拟牛顿条件 (3)DFP 算法 (4)BFGS 算法 (5)L-BFGS 算法 ...
lbfgs优化包
12-03
在MATLAB环境中，LBFGS优化算法通常通过内置的`fminunc`或`fmincon`函数实现，它们提供了对包括LBFGS在内的多种优化方法的支持。然而，这里提到的是一个用户自编写的LBFGS优化包，名为“fminlbfgs_version2”，这...
matlab拟牛顿法的优化算法LBFGS 源代码.zip
03-27
资源名：matlab拟牛顿法的优化算法LBFGS 源代码.zip 资源类型：程序源代码 源码说明： matlab程序lbfgs,拟牛顿法的优化算法源程序，bfgs类。包含完整代码和注释，非常适合借鉴学习 适合人群：新手及有一定经验的开发...
DeltaAutoCalibration:使用 LBFGS 优化算法使用几个探测样本点校准 delta 打印机的代码
06-04
LBFGS优化算法是数值优化领域中的一种有效方法，尤其适用于解决具有大量参数的非线性最小化问题。在Delta打印机的校准中，LBFGS算法可以用来最小化打印头相对于目标位置的误差，通过迭代调整打印机的各种几何参数，...
LBFGS优化算法 Using Matlab Code
03-06
在Matlab中，我们可以使用`fminunc`或`fmincon`函数来调用LBFGS算法，这两个函数分别用于无约束优化和有约束优化问题。本压缩包中的`fminlbfgs_version2`可能是一个自定义的LBFGS实现，可能提供了更灵活的选项或者...
Python-PyTorchLBFGSLBFGS的PyTorch实现
08-11
PyTorch-LBFGS是L-BFGS的模块化实现，这是一种流行的准牛顿方法
LBFGS机器学习优化算法
06-23
有限内存Broyden-Fletcher-Goldfarb-Shanno（Limited-memory Broyden-Fletcher-Goldfarb-Shanno，简称LBFGS）是一种广泛应用在机器学习和数值优化中的算法。它属于拟牛顿法的一种，通过存储过去几次迭代的向量乘积来...
牛顿法与拟牛顿法学习笔记（五）L-BFGS 算法
xiaopihaierletian的博客
11-03 1187
机器学习算法中经常碰到非线性优化问题，如 Sparse Filtering 算法，其主要工作在于求解一个非线性极小化问题。在具体实现中，大多调用的是成熟的软件包做支撑，其中最常用的一个算法是 L-BFGS。为了解这个算法的数学机理，这几天做了一些调研，现把学习过程中理解的一些东西整理出来。 目录链接 (1) 牛顿法 (2) 拟牛顿条件 (3
L-BFGS算法介绍
weixin_34344677的博客
12-14 678
本文由作者林洋港授权网易云社区发布。一、 L-BFGS是什么L-BFGS是解无约束非线性规划问题最常用的方法，具有收敛速度快、内存开销少等优点，在机器学习各类算法中常有它的身影。简单的说，L-BFGS和梯度下降、SGD干的同样的事情，但大多数情况下收敛速度更快，这点在大规模计算中很重要。下图是深度学习Autoencoder模型不同优化方法的比较。二、 L-BFGS“之前”的那些方法这里的“之前”并...
GitHub上大热的Deep Photo终于有TensorFlow版了！
08-17 2364
Prisma这个应用，你可能很熟悉。这是一个能将不同的绘画风格，迁移到照片中，形成不同艺术风格的图片。 今年4月，美国康奈尔大学和Adobe的一个研究团队Fujun Luan和Sylvain Paris等人，在arvix上通过论文“Deep Photo Style Transfer”，提出了一种叫做“深度摄影风格转换”的演化技术，能将一张照片的风格，迁移到另一张照片中，下图就是原论文中给出的
Pytorch优化器全总结（三）牛顿法、BFGS、L-BFGS 含代码
热门推荐
xian0710830114的专栏
01-09 3万+
这篇文章是优化器系列的第三篇，主要介绍牛顿法、BFGS和L-BFGS，其中BFGS是拟牛顿法的一种，而L-BFGS是对BFGS的优化，那么事情还要从牛顿法开始说起。L-BFGS即Limited-memory BFGS。 L-BFGS的基本思想就是通过存储前m次迭代的少量数据来替代前一次的矩阵，从而大大减少数据的存储空间。
scipy优化器optimizer
weixin_30364325的博客
05-24 791
#optimazer优化器 from scipy.optimize import minimize def rosem(x): return sum(100.0*(x[1:]-x[:-1])**2.0+(1-x[:-1])**2.0) x0=np.array([1.3,.7,.8,1.9,1.2]) res=minimize(rosem,x0,method="nelder-m...
从负无穷学习机器学习（六）神经网络
oyzy_Sean的篝火
01-14 422
一、神经网络 多层神经网络又称深度学习，神经网络中使用的是多层感知器(Multilayer Perceptron，MLP)，MLP也被称为前馈神经网络。 神经网络的原理和线性模型很像。线性模型一般公式如下： 但他们还是有区别的，其中最大的地方就是在MLP模型中，算法在过程里面添加了隐藏层(Hidden Layers)，然后在隐藏层重复进行加权求和计算，最终把隐藏层算出的结果用于生成最终结果。这样...
机器学习算法模型之神经网络
cai_niao_lu的博客
12-11 820
使用sklearn实现神经网络的搭建，神经网络的过程介绍和代码实现。机器学习的结尾，深度学习的开始。
lbfgs优化器训练模型代码
最新发布
06-19
LBFGS（Limited-memory Broyden-Fletcher-Goldfarb-Shanno）是一种优化算法，常用于梯度下降方法中，尤其适合于解决大规模数据集的问题，因为它内存消耗小，适用于在线学习。在Python的机器学习库如scikit-learn、TensorFlow或PyTorch中，你可以使用它来训练模型。 这里是一个使用scikit-learn库中的`sklearn.optimize.minimize`函数，以LBFGS作为优化器训练简单线性回归模型的基本示例： ```python from sklearn.datasets import make_regression from sklearn.linear_model import LinearRegression from sklearn.optimize import minimize # 创建一个简单的数据集 X, y = make_regression(n_samples=100, n_features=10, noise=0.1) # 定义线性模型 model = LinearRegression() # 定义损失函数，通常是最小二乘法 def mse_loss(params): model.coef_ = params[:10] # 假设参数为10维 model.intercept_ = params[10] return 'mean_squared_error', (y - model.predict(X)).mean() ** 2 # 使用LBFGS优化器 initial_params = [0] * (10 + 1) # 初始化模型参数 res = minimize(mse_loss, initial_params, method='L-BFGS-B') # 打印结果 print(res) ``` 在这个例子中，`minimize`函数接收一个损失函数和初始参数，方法选择为LBFGS。函数返回一个`OptimizeResult`对象，包含了最优解和一些统计信息。 相关问题： 1. 在实际应用中，如何根据具体模型调整LBFGS的参数？ 2. LBFGS与其他优化器（如SGD、Adam）相比，有何优势和适用场景？ 3. 如何在处理大型神经网络时优化内存消耗，以更好地使用LBFGS？
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值