可怕的数学
文章平均质量分 81
学渣渣渣渣渣
我是菜
深度学习方向,欢迎交流~
展开
-
概率论 科普
本文章介绍了概率的一些基本表示方法和注意事项。原创 2024-05-06 22:14:50 · 1183 阅读 · 2 评论 -
quasi-Newton method 拟牛顿法
拟牛顿法是对牛顿法的改进,在看这一块内容以前,我们先来了解一下什么是 牛顿法。拟牛顿法是求解非线性优化问题最有效的方法之一。拟牛顿法的本质思想是改善牛顿法每次需要求解复杂的Hessian矩阵的逆矩阵的缺陷,它使用正定矩阵来近似Hessian矩阵的逆,从而简化了运算的复杂度。拟牛顿法和最速下降法一样只要求每一步迭代时就知道目标函数的梯度。通过测量梯度的变化,构造一个目标函数的模型使之足以产生超线性收敛性。这类方法大大优于最速下降法,尤其对于困难的问题。另外,因为拟牛顿法不需要二阶导数的信息,所以有时比牛原创 2021-10-19 11:42:31 · 17922 阅读 · 0 评论 -
cosine similarity 余弦相似度
目录1 定义1 定义原创 2021-10-06 12:55:04 · 18517 阅读 · 0 评论 -
normalized correlation 归一化相关系数
这个系数和欧式距离、皮尔逊相关系数等类似,都是度量两个物理量(随机变量)的距离。1 定义归一化相关系数度量体现两个向量的夹角。我们来看一下它的定义式:2 应用2.1 衡量图片相关度NCC是一种基于统计学计算两组样本数据相关性的算法,其取值范围为[-1, 1]之间,而对图像来说,每个像素点都可以看出是RGB数值,这样整幅图像就可以看成是一个样本数据的集合,如果它有一个子集与另外一个样本数据相互匹配则它的ncc值为1,表示相关性很高,如果是-1则表示完全不相关,基于这个原理,实现图像基于模板匹配识原创 2021-10-03 13:48:58 · 19798 阅读 · 0 评论 -
皮尔逊相关系数 Pearson correlation coefficient
在统计学中,皮尔逊相关系数( Pearson correlation coefficient),又称皮尔逊积矩相关系数(Pearson product-moment correlation coefficient,简称 PPMCC或PCCs),是用于度量两个变量X和Y之间的相关程度(线性相关),其值介于-1与1之间。目录1 定义2 性质3 物理意义3.1 皮尔森距离4 应用调包4.1 衡量两个样本的相似度1 定义两个变量之间的皮尔逊相关系数定义为两个变量之间的协方差和标准差的商:上式定义了总体相关原创 2021-09-16 21:05:06 · 19935 阅读 · 0 评论 -
协方差——持续更新
协方差(Covariance)在概率论和统计学中用于衡量两个变量的总体误差。而方差是协方差的一种特殊情况,即当两个变量是相同的情况。目录1 定义2 物理意义tips:变量 统计独立、相关、正交的辨析3 性质3.1 协方差与方差3.2 协方差与期望值4 协方差矩阵5 应用1 定义期望值分别为E[X]与E[Y]的两个实随机变量X与Y之间的协方差Cov(X,Y)定义为:从直观上来看,协方差表示的是两个变量总体误差的期望。2 物理意义如果两个变量的变化趋势一致,也就是说如果其中一个大于自身的期望值时另原创 2021-09-16 19:52:37 · 19689 阅读 · 0 评论 -
假设检验及例题讲解
本博客结合浙大假设检验的课程PPT,以举例子的方式通俗易懂地展示了如何使用常见的几种假设检验以及使用技巧。原创 2021-05-14 11:57:57 · 69052 阅读 · 21 评论 -
逆采样和拒绝采样
目录1 逆采样2 拒绝采样1 逆采样当pdf函数已知,可以通过对pdf函数积分求出cdf,再根据cdf的反函数进行采样即可,此种情况下要求pdf是可积的。先来了解一下 pdf cdf的基本知识:对于随机变量 XXX,如下定义的函数 FFFF(x)=Pr{X≤x},−∞<x<∞F(x)=P_r\{X \leq x \}, -\infty< x < \inftyF(x)=Pr{X≤x},−∞<x<∞称为 XXX 的累积分布函数(CDF,Cumulative Di原创 2021-04-22 22:52:33 · 17564 阅读 · 3 评论 -
差分隐私是什么
这篇文章写的通俗易懂!https://zhuanlan.zhihu.com/p/139114240原创 2021-04-07 21:57:48 · 16928 阅读 · 0 评论 -
Isotonic regression--保序回归
本文介绍了 Isotonic regression 的定义、调用方法以及在模型输出校准领域的运用。目录1 定义2 调用方法1 定义The class IsotonicRegression fits a non-decreasing real function to 1-dimensional data. It solves the following problem:∑iwi(yi−y^i)2\sum_i w_i (y_i - \hat{y}_i)^2∑iwi(yi−y^i)2subje原创 2021-03-30 11:33:56 · 20587 阅读 · 0 评论 -
数学统计--标准分数
目录1 定义2 性质3 实验4 表述方法1 定义变量值与其平均数的离差除以标准差后的值称为标准分数(standard score),也称标准化值或z分数。设标准分数为z,则有 zi=xi−xˉsz_i=\frac{x_i-\bar{x}}{s}zi=sxi−xˉ标准分数给出了一组数据中各数值的相对位置。比如,某个数值的标准分数为-1.5,就知道该数值低于平均数1.5的标准差。这个式子也是我们常用的统计标准化公式,在对多个具有不同量纲的变量进行处理时,常常需要对各变量进行标准化处理。2 性质标原创 2021-04-01 10:44:34 · 21857 阅读 · 0 评论 -
【pytorch】正态分布(高斯分布)、Q函数、误差函数、互补误差函数
则这个随机变量就称为正态随机变量,正态随机变量服从的分布就称为正态分布,记作。这个函数可以看作是高斯分布函数的不定积分,如何相互转换见第5节的图6.2.时,称为标准正态分布。一般正态分布的分布函数。标准正态分布的分布函数。如下图是一般正态分布。如下图是标准整体分布。原创 2021-03-31 11:20:02 · 7725 阅读 · 0 评论 -
优化、算法大全
本博客会积累作者读论文时见到的有价值的算法,持续更新~目录Pareto optimally (帕累托最优)Pareto optimally (帕累托最优)定义:帕累托最优(Pareto Optimality),也称为帕累托效率(Pareto efficiency),是指资源分配的一种理想状态,假定固有的一群人和可分配的资源,从一种分配状态到另一种状态的变化中,在没有使任何人境况变坏的前提下,使得至少一个人变得更好,这就是帕累托改进或帕累托最优化。举例1:假设现在有两个人,甲和乙,分10块蛋糕,并原创 2021-03-23 20:43:29 · 16968 阅读 · 0 评论 -
泰勒展开式&牛顿法
目录1 泰勒展开2 牛顿法——一种优化算法如何用来更新机器学习参数?1 泰勒展开展开如下:f(x)≈f(x0)+f1(x0)1!(x−x0)+f2(x0)2!(x−x0)2+……+fn(x0)n!(x−x0)n+Rn(x)f(x)\approx f(x_0)+\frac{f^1(x_0)}{1!}(x-x_0)+\frac{f^2(x_0)}{2!}(x-x_0)^2+……+\frac{f^n(x_0)}{n!}(x-x_0)^n+R_n(x)f(x)≈f(x0)+1!f1(x0)(x−x0)原创 2021-03-10 19:21:09 · 20211 阅读 · 0 评论