数理统计与代数积分
文章平均质量分 72
数理统计与代数积分
Hali_Botebie
这个作者很懒,什么都没留下…
展开
-
归一化 (Normalization)、标准化 (Standardization)和中心化/零均值化 (Zero-centered)
b. 梯度:以输入-隐层-输出这样的三层BP为例,我们知道对于输入-隐层权值的梯度有2ew(1-a^2)*x的形式(e是誤差,w是隐层到输出层的权重,a是隐层神经元的值,x是输入),若果输出层的数量级很大,会引起e的数量级很大,同理,w为了将隐层(数量级为1)映身到输出层,w也会很大,再加上x也很大的话,从梯度公式可以看出,三者相乘,梯度就非常大了。比如SVM 用高斯核的时候,所有维度共用一个方差,这不就假设特征分布是圆的么,输入椭圆的就坑了人家,所以简单的归一化都还不够好,来杯白化才有劲。转载 2023-05-06 11:20:02 · 2177 阅读 · 0 评论 -
翻译:L0 Norm, L1 Norm, L2 Norm & L-Infinity Norm;范数(norm)是数学中的一种基本概念
L0 Norm:It is actually not a norm. (See the conditions a norm must satisfy here【维基百科关于norm的定义】). Corresponds to the total number of nonzero elements in a vector.L1 Norm:L2 norm:Gives the largest magnitude among each element of a vector.给出向量的每个元素中的最大幅度。翻译 2023-05-06 10:58:43 · 1312 阅读 · 0 评论 -
取模(取余)的具体含义
mod模除(又称模数、取模操作、取模运算等,英语:modulo 有时也称作 modulus)得到的是一个数除以另一个数的余数。给定两个正整数:被除数 a 和除数 n,a modulo n (缩写为 a mod n)得到的是使用欧几里德除法时 a/n 的余数。 举个例子:计算表达式 “5 mod 2” 得到 1,因为 5÷2=2…1(5 除以 2 商 2 余1);而 “9 mod 3” 得到 0,因为 9÷3=3…0;注意:如果使用计算器做除法,不能整除时,你不会得到商,而是会得到一个小数,如:5÷2=2原创 2021-07-08 15:35:22 · 18987 阅读 · 0 评论 -
【数学优化】学习知识点
转载自:https://github.com/Ewenwan/Mathematics文章目录参考数学知识点滴方差 协方差 协方差矩阵 协方差矩阵对角化 矩阵的迹 均方误差 高斯分布方差 分散程度,可以用数学上的方差来表述。协方差协方差矩阵协方差矩阵对角化PCA降维矩阵的迹均方误差矩阵线性变换矩阵线性变换矩阵和矩阵相乘总结方阵 的 特征值和特征向量特征值和特征向量SVD奇异值分解奇异值分解...转载 2020-03-17 15:06:28 · 652 阅读 · 0 评论 -
优化器数学基础知识
微积分先说微积分/高等数学。在机器学习中,微积分主要用到了微分部分,作用是求函数的极值,就是很多机器学习库中的求解器(solver)所实现的功能。在机器学习里会用到微积分中的以下知识点:导数和偏导数的定义与计算方法梯度向量的定义极值定理,可导函数在极值点处导数或梯度必须为0雅克比矩阵,这是向量到向量映射函数的偏导数构成的矩阵,在求导推导中会用到Hessian矩阵,这是2阶导数对多元函...转载 2020-02-19 18:40:36 · 232 阅读 · 0 评论 -
正交向量组
代码阅读局部坐标转化为全局坐标%把局部坐标转化为全局坐标function tscan = Transform(scan, pose)%--------------------------------------------------------------------------%输入 % pose为当前位姿(x坐标tx y坐标ty 旋转角theta)% scan为某次...转载 2020-03-22 14:17:16 · 11881 阅读 · 0 评论 -
曲率定义与推导
曲率(curvature)曲率试图去描述你车子拐弯拐的有多急(我的个人观点,不是定义一个数学量就产生了某种概念,而是为了描述一种概念找出一个合理的数学的定义)。(https://zhuanlan.zhihu.com/p/41795324)曲率半径显示方程若有显示方程 ,把x看着参变量t,有极坐标方程把 θ\thetaθ 看作参变量,代入得推导设道路的函数为我们规定...原创 2020-04-07 11:03:48 · 9627 阅读 · 0 评论 -
4月27 统计学——卡方检验和卡方分布
什么是卡方检验卡方检验是一种用途很广的计数资料的假设检验方法。它属于非参数检验的范畴,主要是比较两个及两个以上样本率( 构成比)以及两个分类变量的关联性分析。其根本思想就是在于比较理论频数和实际频数的吻合程度或拟合优度问题。它在分类资料统计推断中的应用,包括:两个率或两个构成比比较的卡方检验;多个率或多个构成比比较的卡方检验以及分类资料的相关分析等。例子1:四格卡方检验通过简单的统计我们...转载 2020-04-27 17:21:16 · 5049 阅读 · 0 评论 -
【熵】熵,KL散度,交叉熵,最大熵模型
https://blog.csdn.net/geter_CS/article/details/84572199文章目录熵条件熵最大熵模型熵熵在概率论中是很重要的概念。表示随机变量不确定性的度量。设随机变量 X其概率分布为P(X=xi)=pi,i=1,2...nP(X=x_i)=p_i,i=1,2...nP(X=xi)=pi,i=1,2...n,则 X 的熵可以表示为H(p)=−∑i=1npilog(pi)H(p)=-∑^n_{i=1}p_ilog(p_i)H(p)=−∑i=1n转载 2021-03-06 14:28:35 · 1032 阅读 · 1 评论 -
1月16日:拉格朗日中值定理,罗尔定理,柯西中值,拉格朗日插值,牛顿插值,重心插值,拉格朗日乘子法的证明
拉格朗日中值定理https://www.bilibili.com/video/BV117411E7kx?from=search&seid=17921778669593975548拉格朗日中值定理的证明一直是让同学们头疼的一个问题,往往教科书仅仅给出辅助函数,但不做过多的解释,我希望用这10分钟的时间给各位解释清楚,拉格朗日证明过程中的辅助函数,到时是什么意思割线l(x)l(x)l(x)整理:费马(引理)Fermat定理函数fff 在极值点x0∈(a,b)x_0 ∈(a,b)原创 2021-01-16 17:15:38 · 1230 阅读 · 0 评论 -
概率论与数理统计——贝塞尔校正(Bessel‘s Correction)
https://www.jianshu.com/p/8dbb2535407e在学习概率论与数理统计的相关知识时,大家肯定会听到”贝塞尔校正(Bessel’s Correction)“这个名词,这是德国天文学家,数学家Friedrich Bessel在进行天体测量学研究时提出的一个方法。可能大家看到一个以人名命名的概念就会觉得很难,其实这只是一个与统计学的方差和标准差相关的一个修正方法而已。下面我们来具体讲解一下。 首先列出几个熟悉的公式:依次是 总体标准差(standard deviati转载 2021-03-04 14:33:12 · 3794 阅读 · 2 评论 -
【课本】【No.5】大数定律和中心极限定律的理解
大数定律和中心极限定律大数定律大数定律回答了何时一个随机序列的算术平均值会在某种意义下收敛于某一个确定实数列的算术平均值。弱大数定律以概率收敛强大数定律以概率1收敛大数定律的结论结论是某个时间成立的概率(或极限)为0或1. 即大数定律回答的问题是何时随机时间在试验次数在试验辞树很大时近乎必然发生或者不发生中心极限定律将伯努利试验的随机变量序列(即0,1随机序列)的部分和 的情形,推广到一般的随机变量序列部分和 的情形。减去部分和的均值后再除以标准差,得到标准化形式。(正如一个正态随机变原创 2020-06-24 10:44:23 · 408 阅读 · 0 评论 -
【课本】【No.4】数字特征 离散/连续均值/方差 随机向量 协方差 相关系数 矩 偏度 峰度 多维均值/协方差 运算性质 条件期望 随机个随机向量的和 正态中的条件期望是线性函数
文章目录数字特征离散/连续均值离散/连续方差随机向量,协方差,相关系数(线性关系)矩 偏度 峰度多维均值 多维协方差 运算性质 条件数学期望随机个 随机向量的和 正态中的条件期望是线性函数数字特征离散/连续均值离散/连续方差随机向量,协方差,相关系数(线性关系)矩 偏度 峰度多维均值 多维协方差 运算性质 条件数学期望随机个 随机向量的和 正态中的条件期望是线性函数...原创 2020-06-23 11:08:13 · 709 阅读 · 0 评论 -
【课本】【No.3】随机向量定义、联合分布函数、边缘分布、统计特征的分布函数的差分,独立性、离散型条件分布列,连续型分布函数与密度函数、随机向量的函数分布
文章目录随机向量定义、联合分布函数、边缘分布、统计特征的分布函数的差分独立性、离散型条件分布列连续型分布函数与密度函数随机向量的函数分布随机向量定义、联合分布函数、边缘分布、统计特征的分布函数的差分独立性、离散型条件分布列连续型分布函数与密度函数随机向量的函数分布...原创 2020-06-22 13:43:32 · 399 阅读 · 0 评论 -
【课本】【No.2】集合表示法、一维离散变量定义,分布函数为了解决计算时间概率,二项分布,泊松分布,一维连续型分布函数与密度函数
文章目录集合表示法一维离散型随机变量一维连续型随机变量集合表示法一维离散型随机变量一维连续型随机变量原创 2020-06-19 10:12:52 · 264 阅读 · 0 评论 -
【课本】【No.1】样本空间,事件域,概率测度,条件概率,全概率,贝叶斯,独立事件,n重伯努利
样本空间,事件域,概率测度条件概率,全概率,贝叶斯独立事件,n重伯努利原创 2020-06-17 11:01:40 · 883 阅读 · 0 评论 -
转载:极大似然估计中,信息矩阵、Hessian矩阵和协方差矩阵的关系
引言:在贝叶斯,卡尔曼中,图优化,图模型中都会经常 信息矩阵、hessian、极大似然、最小负对数最小似然等概念,他们都存在关系极大似然估计中,信息矩阵、Hessian矩阵和协方差矩阵的关系Fisher Information Matrix 和 Hessian of Log Likelihood这个博客根据Fisher Information的定义,非常清晰地证明了为什么Fisher Information Matrix和负的Hessian of log likelihood是相等的(关键步骤是转载 2020-05-15 10:23:13 · 3109 阅读 · 0 评论 -
matlab中求雅克比矩阵的方法及cov函数的用法,协方差矩阵—Hessian矩阵—正定矩阵
MATLAB中jacobian是用来计算Jacobi矩阵的函数syms r l f x=r*cos(l)*cos(f); y=r*cos(l)*sin(f); z=r*sin(l); J=jacobian([x;y;z],[r l f]) 结果:J = [ cos(l)*cos(f), -r*sin(l)*cos(f), -r*cos(l)*sin(f)] [ cos(l)*s...转载 2020-03-17 14:57:25 · 7170 阅读 · 0 评论 -
数理统计-随机变量的数字特征:期望、方差、协方差、矩、协方差矩阵
课程地址:https://www.bilibili.com/video/av49495924?from=search&seid=2719872283891182472课程名称:数理统计:第37讲 数学期望 (I)第38讲 数学期望 (II)第39讲 数学期望 (III)第40讲 方差 (I)第41讲 方差 (II)第42讲 协方差及相关系数 (I)第43讲 协方差及相关系数...原创 2020-02-14 20:09:41 · 773 阅读 · 0 评论