数学相关知识
水木流年追梦
清华大学计算机研究生,专研算法工程
展开
-
对于Neural ODE的小研究
上面就是用欧拉方法解常微分方程的代码。用●Midpoint method (or RK2) - 2nd order method方法只需这里odeint是一种通用的ODE求解器,必须提供fun(t,ht),初始条件,评估函数的时间步和求解器像Runge–Kutta(RK4)或Adams–Bashforth这样的高阶方法可以保证更好的数值精度所有这些都可以在形式通用的接口中实现(例如scipy将神经网络与ODE求解器集成结果如图所示●We...原创 2020-10-04 20:53:43 · 2540 阅读 · 2 评论 -
非刚性配准(Non-rigid ICP )
原文https://blog.csdn.net/linmingan/article/details/79270874?utm_medium=distribute.pc_relevant.none-task-blog-baidujs-1非刚性ICP算法可以用来3d face的配准原创 2020-05-26 17:22:16 · 8325 阅读 · 3 评论 -
Frobenius norm(Frobenius 范数)
Frobenius 范数,简称F-范数,是一种矩阵范数,记为||·||F。矩阵A的Frobenius范数定义为矩阵A各项元素的绝对值平方的总和,也就是原创 2020-05-26 15:44:15 · 2018 阅读 · 0 评论 -
最大似然估计
原创 2020-05-18 17:27:59 · 172 阅读 · 0 评论 -
VAE的模型架构
VAE的模型架构上面这张图就是VAE的模型架构,我们先粗略地领会一下这个模型的设计思想。 在auto-encoder中,编码器是直接产生一个编码的,但是在VAE中,为了给编码添加合适的噪音,编码器会输出两个编码,一个是原有编码(m1,m2,m3),另外一个是控制噪音干扰程度的编码(σ1,σ2,σ3),第二个编码其实很好理解,就是为随机噪音码(e1,e2,e3)分配权重,然后加上exp(σi)的目的是为了保证这个分配的权重是个正值,最后将原编码与噪音编码相加,就得到了VAE在code层的输出结果(转载 2020-05-18 15:56:49 · 2975 阅读 · 0 评论 -
程序员必备学习资源资料库!!!免费开发书籍中文版大全
语言无关IDEIntelliJ IDEA 简体中文专题教程Web3 Web Designs in 3 Weeks Chrome 开发者工具中文手册 Chrome扩展及应用开发 Chrome扩展开发文档 Growth: 全栈增长工程师指南 Grunt中文文档 Gulp 入门指南 gulp中文文档 HTTP 接口设计指北 HTTP/2.0 中文翻译 http2讲解 JSON风格指南 Wireshark用户手册 一站式学习Wireshark 关于浏览器和网络的 20 项须原创 2020-05-18 15:39:57 · 1291 阅读 · 0 评论 -
牛顿法
原创 2020-05-18 15:07:37 · 184 阅读 · 0 评论 -
EMD Earth Movers Distance
EMD距离即Earth Mover's Distance,是由2000年IJCV期刊文章《The Earth Mover's Distance as a Metric for Image Retrieval》提出的一种图像相似度度量方法,从文章标题也可以得知,最初EMD的概念是用于图像检索的。后来因为其各种优点,逐渐用到其他方面的相似度度量。这篇文章主要理解EMD的概念。signature论文定义,“We introduce a distance between two signatures that转载 2020-05-16 01:11:59 · 1228 阅读 · 0 评论 -
线性最小二乘
一. 问题的定义 最小二乘问题通常可以表述为,通过搜集到的一些数据(获取得到的样本),对某一个模型进行拟合,并尽可能的使得模型结果和样本达到某种程度上的最佳拟合: 转化为数学表达式为: 其中 x 为模型中参数所组成的向量,e 通常被称为残差向量(residual vector). 现在假设我们的模型函数为 Ax,样本为 b 且方程数大于未知量数则有: 转化为最小二乘表达式为...原创 2020-05-01 09:18:58 · 1061 阅读 · 0 评论 -
非线性最小二乘通俗易懂解释
1. 非线性最小二乘介绍1.1.最小二乘问题回顾: 在上一篇博客中我们知道最小二乘问题是为了找到测量值和模型预测值之间的最小误差,该问题可以简单的表示为: 其中e(x)为模型和样本之间的误差,在SLAM中亦可以看作为观测值和估计值之间的误差。通过求解该问题我们就能够优化我们的模型函数使之更接近与真实的函数模型。 下图的数据拟合可以很好的说明...原创 2020-05-01 09:11:01 · 4765 阅读 · 0 评论 -
必知必会!常用矩阵求导和重要的矩阵
转自https://blog.csdn.net/a841454735/article/details/88608682,来备份一下,矩阵求导很重要!一、矩阵求导 一般来讲,我们约定,这是分母布局。常见的矩阵求导方式有:向量对向量求导,标量对向量求导,向量对标量求导。1、向量对向量求导2、标量对向量求导3、向量对标量求导其他的可以参考wiki:维基百科矩阵求导公...原创 2020-04-25 22:18:20 · 1662 阅读 · 0 评论 -
研究生必备自学课程!打好科研的数学基础与机器学习基础!
数学《线性代数》 麻省理工公开课:线性代数_全35集_网易公开课《线性代数的本质》 【官方双语/合集】线性代数的本质 - 系列合集《组合数学》 清华 组合数学-学堂在线慕课(MOOC)平台《多变量微积分》 麻省理工学院公开课:多变量微积分_全35集_网易公开课机器学习《机器学习》 NG 网易公开课 斯坦福大学公开课 :机器学习课程《机器学习基石》 台大林轩田老师关...原创 2020-04-23 22:40:01 · 397 阅读 · 1 评论 -
机器学习与深度学习神器!凸优化(Convex Optimization)学习必备
Boyd的Convex Optimization是神书,真的想搞科研可以学一下这个书,但这个书理论多,侧重凸分析的基础,花了非常长的篇幅介绍函数的凸性、对偶等,但在机器学习中,至少在刚入门不久的阶段这些东西用的不算多,或者说在大多数情况下只需要对这些有基本概念就行所以建议读两篇更短的文章,ubeck的《Convex Optimization: Algorithms and Complexity...原创 2020-04-23 19:47:42 · 1546 阅读 · 0 评论 -
KL散度的通俗易懂理解
一、第一种理解 相对熵(relative entropy)又称为KL散度(Kullback–Leibler divergence,简称KLD),信息散度(information divergence),信息增益(information gain)。 KL散度是两个概率分布P和Q差别的非对称性的度量。 KL散度是用来度量使用基于Q的编码来编码来自P的样本平...原创 2020-04-18 00:00:19 · 12530 阅读 · 0 评论 -
贝叶斯学派,先验概率,后验概率,贝叶斯估计
最近paper上看到了很多贝叶斯估计的问题,总结一下网上的贝叶斯估计相关知识。贝叶斯公式:最大似然估计:实际上是求了红线框起来的部分最大后验估计:实际上是去求了红线框起来的部分。比最大似然估计多了一个参数的概率,认为参数也有概率。最大后验估计(maximum a posteriori estimation,MAP),它与极大似然估计最大的区别就是,它考虑了参数本身的分布,也...原创 2020-04-17 22:12:56 · 898 阅读 · 0 评论 -
迭代最近点算法Iterative Closest Point(ICP)以及c++实现代码
有两组对应的点集(corresponding point sets):求欧式变换使得:ICP 算法基于最小二乘法进行迭代计算,使得误差平方和达到极小值:可通过以下三个步骤进行求解:(1)定义两组点的质心,简化目标函数交叉项部分在求和之后零,因此目标函数简化为:第一项只与旋转矩阵R有关,只要获得R,令第二项为零就能求得t。...原创 2020-04-16 09:58:22 · 1509 阅读 · 1 评论 -
Normalizing Flows Tutorial(标准化流教程)第一部分
0.背景0.0 交代故事你是个机器学习从业者,正苦哈哈地研究着产生式模型、贝叶斯深度学习、深度强化学习之类的玩意儿,趁手的工具捉襟见肘。今天我就给你带一件儿不错的东西:标准化流,相信我,它会武装你的算法工具箱,带你飞起。标准化流能把简单的地摊货概率密度(比如高斯分布)形式转换成某种高大上的分布形式。它可以用在产生式模型、强化学习、变分推断之类的地方。至于实现,Tensorflow有一...转载 2020-04-10 00:15:49 · 2200 阅读 · 0 评论 -
简介雅可比矩阵(Jacobian)
雅可比矩阵,有时简称为雅可比矩阵,是一个一阶偏导矩阵(在某些情况下,术语“雅可比矩阵”也指雅可比矩阵的行列式)。注意,在某些约定中,雅可比矩阵是上述矩阵的转置。其中m=n为方阵,常用于坐标变换,特别是取多个积分和确定复杂函数是否holomorphic时。例如,在二维中表示变量从x到x(u,v)和从y到y(u,v)的变化的雅可比矩阵被表示为雅可比矩阵通常是指高维函数的导数...原创 2020-04-09 14:09:54 · 33913 阅读 · 3 评论 -
Pytorch中autograd的vector-Jacobian product
autograd是Pytorch的重要部分,vector-Jacobian product更是其中重点以三维向量值函数为例:按Tensor, Element-Wise机制运算,但实际上表示的是:Y 对 X的导数不是2X而是一个Jacobian矩阵(因为X,Y是向量,不是一维实数):其中,它是关于的函数,而不仅仅只是关于 x1 ,这儿的特殊性是由Elem...原创 2020-04-07 20:12:34 · 671 阅读 · 0 评论 -
Lipschitz 条件
对于, 如果存在常数使得对于的某个领域内所有的和,则有 成立,则称在点满足Lipschitz条件,称为Lipschitz常数。Lipschitz条件,即利普希茨连续条件(Lipschitz continuity)。其定义为:...原创 2020-04-07 17:36:46 · 31929 阅读 · 2 评论