![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
梯度下降相关算法
文章平均质量分 95
pinn山里娃
交流请加vx:worker_harder
展开
-
ZOO for black box 公式推导
基本定义知识x∗x^{*}x∗是光滑点(stationary point)满足下式:⟨∇f(x∗),x−x∗⟩≥0,∀x∈X\left\langle\nabla f\left(\mathbf{x}^{*}\right), \mathbf{x}-\mathbf{x}^{*}\right\rangle \geq 0, \forall \mathbf{x} \in \mathcal{X}⟨∇f(x∗...原创 2020-12-18 10:47:55 · 237 阅读 · 0 评论 -
优化算法中的零次优化详解
零次优化公式算法收敛无梯度优化minf(x)minf(x)minf(x)无梯度方法适用于梯度难以得到、获得昂贵传统无梯度方法:基于直接搜索的方法:坐标搜索,广义模式搜索和网格自适应直接搜索基于模型的方法:隐式过滤,信任区域方法贝叶斯方法通过随机梯度估计的零次优化:模仿一阶方法,但使用函数值的有限差分来估计梯度优点:易与操作、收敛保证、函数查询效率黑箱攻击的基本问题:...原创 2020-09-01 21:38:41 · 4352 阅读 · 3 评论 -
ZO-Adam/ZO-Newton
论文动机DNN已成为现有和新兴AI研究的基本要素和核心技术,但DNN对对抗样本缺乏鲁棒性的弱点带来了安全问题而DNN的鲁棒性的初步研究主要集中黑盒与白盒问题,而往往在生活中更常见于黑盒问题黑盒问题主要特征是无法获得模型参数及数据集等信息,仅能够获取被攻击模型的输入结果(查询结果),查询结果通常为概率或分数信息({基于分数的攻击})或标签信息(基于决策的攻击)如何解决黑盒问题呢?根据对抗样...原创 2020-09-01 21:32:03 · 472 阅读 · 0 评论 -
ZO-AdaMM
论文信息题目ZO-AdaMM: Zeroth-Order Adaptive Momentum Method for Black-Box Optimization作者Xiangyi Che, Sijia Liu2, Kaidi Xu3, Xingguo Li4, Xue Lin3Mingyi Hong, David Cox会议:Conference on Neural Informatio...原创 2020-09-01 21:33:46 · 664 阅读 · 0 评论 -
ZOO for black box
用于攻击中得零阶优化算法原创 2020-08-27 11:06:04 · 1023 阅读 · 0 评论 -
神经网络训练梯度算法详解
目录文章目录题目The basic definitionThe motivationPaper detailed introduction梯度下降变体批梯度下降随机梯度下降算法小批量梯度下降法MBGDChallengesGradient descent optimization algorithmsMomentumNesterov accelerated gradientAdaGradRMSPr...原创 2020-08-27 11:07:18 · 3164 阅读 · 0 评论