![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
文章平均质量分 92
集智飞行
机器人,无人机,集群协同控制领域,软硬件经验分享
展开
-
最优化方法matlab代码(二) 大规模优化问题
大规模优化问题的变量数量n很大(几千几万),普通拟牛顿类方法每步都需要用大n^2量级的hessen矩阵,因此需要很大的内存并且极大降低了计算速度。因此衍生出了一些解决大规模优化问题的方法:1、L-BFGS方法全称limited-memory BFGS法,是在拟牛顿方法BFGS法(一种对称秩2方法)的基础上,改用前m步的梯度和变量位置来计算拟hessen矩阵的方法。由于前m步的梯度和变量都只是向量而非矩阵,因此L-BFGS方法不需要存储前一步的hessen矩阵,极大减小了内存,因此得名。计算速度上会比原创 2022-01-03 14:18:18 · 3658 阅读 · 1 评论 -
最优化方法matlab代码(一) 牛顿类方法
针对优化问题,常见的优化方法及其特点如下:最速下降法SD迭代点处目标函数泰勒展开用一次函数近似,下降方向dk=-gk,步长alpha由(非)精确线搜索得到,x(k+1)=x(k)+alpha*dk),优化速度慢,迭代次数多,实际应用中几乎不使用了。基本牛顿方法Newton迭代点处目标函数泰勒展开用二次函数近似,dk=-inv(Gk)*gk,步长alpha=1。优化速度快。但是Hessen矩阵Gk不一定是正定和非奇异(可逆)的,而且可能出现迭代方向dk和梯度gk接近正交的情况导致目标函数f下降原创 2021-11-29 22:52:23 · 3569 阅读 · 1 评论 -
tensorflow-gpu和Cuda、cuDNN安装成功经验(win10、无需Anaconda)
因为自己的笔记本上用cpu跑深度学习的训练实在是慢,想把电脑上的一块显存2G的Nvida Geforce 940mx的显卡用起来。虽然这个显卡很普通,但比cpu跑的还是快多了。经过一下午的努力,一波三折之后终于安装成功,深度学习训练程序成功在GPU上跑了起来,速度比cpu快了7倍。Cuda、cuDNN安装方法两篇:https://www.cnblogs.com/fanfzj/p/8521728.htmlhttps://blog.csdn.net/claroja/article/details原创 2020-07-21 09:22:36 · 1136 阅读 · 0 评论