![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Optimizer优化器算法
文章平均质量分 85
Optimizer 优化器算法
Hali_Botebie
这个作者很懒,什么都没留下…
展开
-
归一化 (Normalization)、标准化 (Standardization)和中心化/零均值化 (Zero-centered)
b. 梯度:以输入-隐层-输出这样的三层BP为例,我们知道对于输入-隐层权值的梯度有2ew(1-a^2)*x的形式(e是誤差,w是隐层到输出层的权重,a是隐层神经元的值,x是输入),若果输出层的数量级很大,会引起e的数量级很大,同理,w为了将隐层(数量级为1)映身到输出层,w也会很大,再加上x也很大的话,从梯度公式可以看出,三者相乘,梯度就非常大了。比如SVM 用高斯核的时候,所有维度共用一个方差,这不就假设特征分布是圆的么,输入椭圆的就坑了人家,所以简单的归一化都还不够好,来杯白化才有劲。转载 2023-05-06 11:20:02 · 1673 阅读 · 0 评论 -
【数据关联(25)】最近邻域法应用在数据关联:NNDA
在这些步骤中,关联门可以选择矩形或椭圆形,对于最近邻算法,相似性度量方法选择加权欧式距离。数据关联是将不确定性观测数据与轨迹进行配对,而最近邻算法又是什么呢?最近邻算法利用加权欧式距离计算每一个观测数据到真实目标的距离,然后再取其最近的一个观测数据作为目标真实状态,所以,当我们收到传感器传回来的观测数据时,首先计算加权欧式距离,然后再取其最近的点迹。本文将分两部分介绍最近邻算法。第一部分着重介绍加权欧式距离公式的由来,第二部分举例说明最近邻的含义。转载 2023-01-11 16:43:07 · 1712 阅读 · 0 评论 -
【原理】聚类算法Kmeans与梯度算法Meanshift
Kmeans和Meanshift相似是指都是一种概率密度梯度估计的方法,不过是Kmean选用的是特殊的核函数(uniform kernel),而与混合概率密度形式是否已知无关,转载 2023-01-11 16:40:15 · 308 阅读 · 0 评论 -
【应用】【图片滤波】meashift算法运用到图像上的聚类核跟踪
一般一个图像就是个矩阵,像素点均匀的分布在图像上,就没有点的稠密性。所以怎样来定义点的概率密度,这才是最关键的。如果我们就算点x的概率密度,采用的方法如下:以x为圆心,以h为半径。(1)x像素点的颜色与xi像素点颜色越相近,我们定义概率密度越高。所以定义总的概率密度,是二个规则概率密度乘积的结果,可以(4)表示。(2)离x的位置越近的像素点xi,定义概率密度越高。如图左上角图片,按照(4)计算的概率密度如图右上。代表空间位置的信息,离远点越近,其值就越大,表示颜色信息,颜色越相似,其值越大。转载 2023-01-11 16:38:44 · 121 阅读 · 0 评论 -
【应用】【目标跟踪】使用meanshift迭代方程让相似函数最大,最后输出meanshift向量,实现目标的跟踪
MeanShift算法正是属于核密度估计法,它不需要任何先验知识而完全依靠特征空间中样本点的计算其密度函数值。对于一组采样数据,直方图法通常把数据的值域分成若干相等的区间,数据按区间分成若干组,每组数据的个数与总参数个数的比率就是每个单元的概率值;核密度估计法的原理相似于直方图法,只是多了一个用于平滑数据的核函数。采用核函数估计法,在采样充分的情况下,能够渐进地收敛于任意的密度函数,即可以对服从任何分布的数据进行密度估计转载 2023-01-11 16:36:40 · 149 阅读 · 0 评论 -
【原理】凸函数与Jensen不等式
设f是定义域为实数的函数,如果对于所有的实数x。如果对于所有的实数x,f(x)的二次导数大于等于0,那么f是凸函数。当x是向量时,如果其hessian矩阵H是半正定的,那么f是凸函数。如果只大于0,不等于0,那么称f是严格凸函数。。转载 2023-01-11 16:32:40 · 1545 阅读 · 0 评论 -
【原理】期望最大算法EM——含有隐变量的概率参数模型的最大似然估计或极大后验概率估计
EM 算法,全称 Expectation Maximization Algorithm。期望最大算法是一种迭代算法,用于含有隐变量(Hidden Variable)的概率参数模型的最大似然估计或极大后验概率估计。本文思路大致如下:先简要介绍其思想,然后举两个例子帮助大家理解,有了感性的认识后再进行严格的数学公式推导。转载 2023-01-11 16:26:52 · 1343 阅读 · 0 评论 -
【原理】极大似然法(MLE)——概率论在统计学的应用
极大似然法(MLE)求最大似然函数估计值的一般步骤:(1)写出似然函数;(2)对似然函数取对数,并整理;(3)求导数,令导数为0,得到似然方程;(4)解似然方程,得到的参数即为所求;转载 2023-01-11 16:25:36 · 2513 阅读 · 0 评论 -
【原理】【聚类算法】Kmeans算法
这一最著名的聚类算法主要基于数据点之间的均值和与聚类中心的距离迭代而成。它主要的优点是十分的高效,由于只需要计算数据点与聚类中心的距离,其计算复杂度只有O(n)。其工作原理主要分为以下四步:k-means 算法接受输入量 k;然后将n个 数据对象划分为 k个 聚类以便使得所获得的 聚类满足:同一聚类中的对象相似度较高;而不同聚类中的对象相似度较小。聚类相似度是利用各聚类中对象的 均值所获得一个“中心对象”(引力中心)来进行计算的。处理流程k-means 算法基本步骤。转载 2023-01-11 16:35:28 · 342 阅读 · 0 评论 -
【梯度算法】Mean-Shift均值漂移算法算法,输出:偏移向量
核函数的定义使得偏移值对偏移向量的贡献随之样本与被偏移点的距离的不同而不同。权重系数使得不同样本的权重不同。Mean Shift算法在聚类,图像平滑、分割以及视频跟踪等方面有广泛的应用。转载 2023-01-10 17:06:40 · 720 阅读 · 0 评论 -
对应点集配准的四元数法(ICP算法中的一个关键步骤)
算法流程如下:1.首先得到同名点集P和X。2.计算P和X的均值up和ux。3.由P和X构造协方差矩阵sigma。4.由协方差矩阵sigma构造4*4对称矩阵Q。5.计算Q的特征值与特征向量。其中Q最大特征值对应的特征向量即为最佳旋转向量q。6.通过四元数q得到旋转矩阵R。7.根据R计算最佳平移向量qr。clear all;close all;clc; %生成原始点集X=[];Y=[];Z=[];for i=-180:2:180 for j=-90:2:90转载 2020-07-22 11:04:54 · 1990 阅读 · 1 评论 -
【11月29】PF 粒子滤波的多维运动模型代码
背景:最近有人要我帮忙写个多维运动模型的粒子滤波的目标跟踪的demo,于是开始了接下来的资料分析过程。参考资料https://www.cnblogs.com/sanmenyi/p/7091978.html(比较理论的分析了相关知识点)贝叶斯滤波以递推的形式给出后验(或滤波)概率密度函数的最优解。目标状态的最优估计值可由后验(或滤波)概率密度函数进行计算。通常根据极大后验(MAP)准则或最小均方误差(MMSE)准则,将具有极大后验概率密度的状态或条件均值作为系统状态的估计值。贝叶斯滤波需要进行积分原创 2021-02-07 14:25:36 · 1528 阅读 · 4 评论 -
多项式曲线,分段曲线,曲线参数化,平面曲线,插值方法的样条曲线
http://www.ae.metu.edu.tr/~ae464/splines.pdf翻译 2020-06-22 17:30:34 · 6456 阅读 · 0 评论 -
十大经典排序算法与算法复杂度
本系列算法整理自:https://github.com/hustcc/JS-Sorting-Algorithm动图演示:https://www.runoob.com/w3cnote/ten-sorting-algorithm.html排序算法是《数据结构与算法》中最基本的算法之一。排序算法可以分为内部排序和外部排序,内部排序是数据记录在内存中进行排序,而外部排序是因排序的数据很大,一次不能容纳全部的排序记录,在排序过程中需要访问外存。常见的内部排序算法有:插入排序、希尔排序、选择排序、冒泡排序、归并转载 2020-06-10 11:21:00 · 3181 阅读 · 0 评论 -
最小二乘方法和RANSAC的改进算法PROSAC和LMEDS
参考链接:https://blog.csdn.net/wsp_1138886114/article/details/90578810一般的最小二乘最小二乘方法在描述子匹配输出的点对质量很好,理想情况下是图像没有噪声污染与像素迁移与光线恒定,但是实际情况下图像特别容易受到光线、噪声导致像素迁移,从而产生额外的多余描述子匹配,这些点对可以分为outlier跟inlier两类。一般的RANSACRANSAC(Random Sample Consensus)可以很好的过滤掉outlier点对,使用合法的点对转载 2020-06-02 14:27:11 · 6188 阅读 · 1 评论 -
论文A Tutorial on Graph-Based SLAM 学习笔记
整理一下SLAM的内容:20200514论文地址:http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.232.7301&rep=rep1&type=pdfGraph-based SLAM(基于图优化的算法)A Tutorial on Graph-Based SLAM这个论文写的很好。看了:https://blog.csdn.net/plateros/article/details/103498039 的文章,写的很好。原创 2020-05-14 16:15:16 · 2725 阅读 · 0 评论 -
五大常用算法:分治、动态规划、贪心、回溯、分支限界
文章目录五大常用算法之一:分治算法五大常用算法之二:动态规划算法贪心算法例子五大常用算法之四:回溯法五大常用算法之五:分支限界法一、基本描述(1)分支搜索算法(2)分支限界搜索算法区别应用实例-分枝界限法(Branch and Bound Method)1、基本思想算法设计中的时空转换概念实现求解完全整数规划问题和混合整数规划问题的分支定界法。五大常用算法之一:分治算法实际上就是类似于数学归纳法,找到解决本问题的求解方程公式,然后根据方程公式设计递归程序。1、一定是先找到最小问题规模时的求解方法2、原创 2020-05-09 17:22:45 · 1970 阅读 · 0 评论 -
3月25日 插值-样条插值
百度百科定义插值:在离散数据的基础上插补连续函数,使得这条连续曲线经过全部离散点,同时也可以估计出函数在其他点的近似值。样条插值:一种以 可变样条 来作出一条经过一系列点的光滑曲线的数学方法。插值样条是由一些多项式组成的,每一个多项式都是由相邻的两个数据点决定的,这样,任意的两个相邻的多项式以及它们的导数在连接点处都是连续的。https://www.cnblogs.com/yanshw/p/...翻译 2020-03-25 11:16:24 · 1018 阅读 · 0 评论 -
迭代求解最优化问题——步长确定
https://blog.csdn.net/frozenspring/article/details/78888792梯度下降法和牛顿法其实在某种程度上只是确定了下降的方向。而下降的步长(收敛速率系数)还需要我们自己确定。而对于不同的问题下降的步长往往也是不一样的。这就造成了一些麻烦。线搜索前面提到迭代求解最优化问题minf(x)的一般形式是xk+1=xk+Δ。事实上我们可以把Δ分为两个...转载 2020-03-18 17:59:34 · 6445 阅读 · 0 评论 -
梯度,雅克比矩阵和海森矩阵
这里讨论的三个概念:梯度向量、Jacobian矩阵和Hessian矩阵,有关后面两个矩阵的性质日后将进一步完善。总 述设自变量:x = ( x1, x2 ,⋯, xn )T因变量有两种情况:一维f(x):一阶导数构成的向量为梯度向量 g(x)二阶导数构成的矩阵为Hessian矩阵(海森矩阵)多维 f(x) =(f1(x), f2(x), ⋯ , fm(x))T:此时的一阶导...原创 2020-03-18 17:51:20 · 3866 阅读 · 0 评论 -
3月16日 CV,CA,CTRV等运动模型,EKF,UKF在运动模型下的分析与实践
1.0 匀速模型(Constant Velocity, CV)在扩展卡尔曼滤波课程中,我们使用了一个等速模型(CV)。等速模型是用于物体跟踪的最基本的运动模型之一。四个状态变量依次为横坐标,纵坐标,与x轴夹角(逆时针为正),线速度1.1 状态转移方程1.2 局限等速(CV)模型(速度是常量的模型)的局限性:假设速度是常量,我们实际上简化了车辆实际移动的形式,因为大多数车辆道路是有拐...原创 2020-03-16 14:41:37 · 27886 阅读 · 17 评论 -
3月15日 无损卡尔曼滤波UKF与多传感器融合
无向卡尔曼滤波器(UKF)链接:https://blog.csdn.net/u013102281/article/details/59109566https://zhuanlan.zhihu.com/p/35729804UKF依然没有脱离KF的框架。只不过对下一时刻状态的预测方法变成了sigma点集的扩充与非线性映射。这样做有两个优点:1、避免了复杂非线性函数雅可比矩阵的复杂运算;...原创 2020-03-18 11:09:47 · 646 阅读 · 0 评论 -
粒子滤波与PF目标追踪
PF目标追踪原创 2020-03-15 17:40:34 · 801 阅读 · 0 评论 -
3月15日 卡尔曼与多元传感器融合
卡尔曼滤波器是在估计线性系统状态的过程中,以最小均方误差为目的而推导出的几个递推数学等式。也可以从贝叶斯推断的角度来推导,如下图。卡尔曼推导(可以跳过)1.0定义卡尔曼滤波是一种高效率的递归滤波器(自回归滤波器),它能够从一系列的不完全及包含噪声的测量中,估计动态系统的状态。这个估计可以是对当前目标位置的估计(滤波),也可以是对于将来位置的估计(预测),也可以是对过去位置的估计(插值或平...原创 2020-03-15 11:35:28 · 2268 阅读 · 0 评论 -
2月21 深度优先与广度优先
深度优先广度优先原创 2020-02-21 11:19:43 · 367 阅读 · 0 评论 -
2月20 高斯-牛顿、雅可比矩阵、收敛条件、阻尼高斯牛顿、LM方法、matlab程序示例
高斯牛顿和LM方法链接:https://blog.csdn.net/wuaini_1314/article/details/79562400推导过程可以参考http://blog.csdn.net/zhubaohua_bupt/article/details/74973347http://fourier.eng.hmc.edu/e176/lectures/NM/node36.htmlht...原创 2020-02-20 20:09:16 · 4111 阅读 · 0 评论 -
2月20日 阻尼牛顿法,拟牛顿法(Quasi-Newton Methods)及各种具体实现方法,共轭梯度法(Conjugate Gradient)
阻尼牛顿法牛顿法与拟牛顿法学习笔记(一)牛顿法https://blog.csdn.net/itplus/article/details/21896453https://zhuanlan.zhihu.com/p/37524275回忆牛顿法:拟牛顿法(Quasi-Newton Methods)参考: https://www.cnblogs.com/shixiangwan/p/753...原创 2020-02-20 19:39:37 · 832 阅读 · 0 评论 -
2月20 牛顿法,海赛矩阵(hesse matrix),作用求根与最优化,与梯度(平面拟合局部)相比效率高,因为用二次曲面去拟合局部
文章目录1.0牛顿法(牛顿法又被很形象地称为是"切线法")1.1求方程的根;1.2最优化算法演示代码np.array的各类用法:1.4牛顿法和梯度下降法的比较1.0牛顿法(牛顿法又被很形象地称为是"切线法")牛顿法是一种在实数域和复数域上近似求解方程的方法。方法使用函数f (x)的泰勒级数的前面几项来寻找方程f (x) = 0的根。牛顿法最大的特点就在于它的收敛速度很快。https://www...原创 2020-02-20 19:39:01 · 2933 阅读 · 0 评论 -
2月20日 梯度下降、三种方式、三种超参数学习率冲量衰减因子、应用举例
1.0梯度下降的三种方式:1.1批量梯度下降(Batch Gradient Descent)这种方式在梯度下降的每一步中,我们都用到了所有的训练样本,也就是说,我们需要计算每一个 θj\theta_jθj 下损失函数的梯度,在梯度下降中,在计算微分时,我们需要进行求和运算。但是当样本量很大时,这种方式的训练速度是很慢的,并不能让人满意。推广:由于我们有m个样本,这里求梯度的时候...原创 2020-02-20 19:38:01 · 1607 阅读 · 0 评论 -
2月18 多项式拟合原理、全过程,loss函数,正则化,迭代与梯度下降,plotly
资料库:暂未更新文章目录1.0多项式的定义:1.1问题等价:多项式拟合=关于多项式系数 W 的线性函数的求解1.2问题实质:通过误差函数来对拟合进行评估,并得出最优的多项式系数2.0误差函数的定义2.1误差函数也称为损失函数lost或者代价cost函数2.2误差函数2.2.1 **第一类:** 适用于回归问题(Regression)的误差函数,这种误差函数的目标是量化推测值和真实值的逻辑距离,理...原创 2020-02-18 20:14:20 · 4655 阅读 · 0 评论