优化算法
NYAIoT
这个博客主要分享AIoT技术上的一些思考,欢迎大家批评指证。
展开
-
深度学习之三元组损失原理与选取策略
三元组损失概述三元组损失(Triplet loss)函数是当前应用较为广泛的一种损失函数,最早由Google研究团队在论文《FaceNet:A Unified Embedding for Face Recognition》所提出,常用在人脸识别任务中。目的是做到非同类极相似样本的区分,比如说对兄弟二人的区分。所以,Triplet loss的优势在于细节区分,即当两个输入相似时,Triplet loss能够更好地对细节进行建模,相当于加入了两个输入差异性差异的度量,学习到输入的更好表示,从而在上述两个任务原创 2020-06-23 17:28:30 · 25687 阅读 · 4 评论 -
优化算法--Adagrad,RMSProp,AdaDelta,Adam
优化算法–Adagrad自适应学习率 随机梯度下降算法,目标函数自变量的每一个元素在相同时间步都使用同一个学习率来自我迭代。举个例子,假设目标函数为fff,自变量为一个二维向量[x1,x2]⊤[x_1, x_2]^\top[x1,x2]⊤,该向量中每一个元素在迭代时都使用相同的学习率。例如,在学习率为η\etaη的梯度下降中,元素x1x_1x1和x2x_2x2都使用相同的学习率η\...原创 2019-11-26 17:36:52 · 1180 阅读 · 0 评论 -
优化算法--momentum
momentum 梯度下降或随机梯度下降都是目标函数在自变量当前位置下降最快的方向,然而,每次迭代都沿着最陡方向并且只考虑当前位置,会使得目标函数很容易陷入局部最小值和鞍点。 可以看到,同一位置上,目标函数在竖直方向(x2x_2x2轴方向)比在水平方向(x1x_1x1轴方向)的斜率的绝对值更大。因此,给定学习率,梯度下降迭代自变量时会使自变量在竖直方向比在水平方向移动幅度更大。那...原创 2019-11-25 23:52:06 · 2321 阅读 · 0 评论 -
优化算法--SGD,batch SGD
优化算法–SGD,batch SGD 优化算法的目标函数是一个基于训练数据集的损失函数,优化的目标在于降低训练误差。在深度学习中主要面临两个挑战:局部最小值和鞍点。梯度下降和SGD 多维梯度下降:目标函数的输入为向量,输出为标量。假设目标函数f:Rd→Rf: \mathbb{R}^d \rightarrow \mathbb{R}f:Rd→R的输入是一个ddd维向量x=[x1,x2,…...原创 2019-11-24 22:58:57 · 1296 阅读 · 2 评论