rauchy的博客

前言  牛顿法和拟牛顿法是两种常用的优化方法，可以用来求解函数的根以及最优化。牛顿法  考虑无约束优化问题min⁡x∈Rnf(x)\min_{x\in R^n} f(x)x∈Rnmin​f(x)x∗x^*x∗为目标函数的极小点。  假设f(x)具有二阶连续偏导数，若第k次迭代值为x(k)x^{(k)}x(k)，则可将f(x)在x(k)x^{(k)}x(k)附近进行二阶泰勒展开：f(x...

基本运算  矩阵的常见运算如下：符号描述A−1A^{-1}A−1矩阵的逆det⁡(A)\det(A)det(A)A的行列式Tr(A)Tr(A)Tr(A)矩阵的迹eig(A)eig(A)eig(A)矩阵的特征值ATA^TATA的转置∥A∥\|A\|∥A∥A的范数A∘BA\circ BA∘B哈达玛积A⊗BA\otimes ...

一、协方差  协方差的定义如下：数值E[X−E(x)][Y−E(Y)]E{[X-E(x)][Y-E(Y)]}E[X−E(x)][Y−E(Y)]为随机变量X与Y的协方差，记为Cov(X,Y)，即Cov(X,Y)=E[X−E(x)][Y−E(Y)]Cov(X,Y)=E{[X-E(x)][Y-E(Y)]}Cov(X,Y)=E[X−E(x)][Y−E(Y)].对于D(X+Y),我们有D(X+Y)...

信息熵交叉熵

定义证明

不可数的样本空间  考虑这样一个实验：从区间Ω=[0,1]\Omega=[0,1]Ω=[0,1]中随机地选取一个实数，每一个数被取到的概率都是相等的。那么问题来了，单个实数被取到的概率是多少？有以下两种情况：取到单个实数的概率为正值ϵ\epsilonϵ，考虑集合A={1,2,...,1n}A=\{1,2,...,\frac{1}{n} \}A={1,2,...,n1​}，那么A中元素被取到的...

简介  高斯分布是比较常见的概率分布，一维高斯分布如下：f(x)=12πσe−(x−μ)22σ2f(x)=\frac{1}{2\pi\sigma}e^{-{\frac{(x-\mu)^2} {2\sigma^2}}}f(x)=2πσ1​e−2σ2(x−μ)2​其中，σ\sigmaσ是方差，μ\muμ是平均值。但是常见的一般是多维高斯分布，我们可以由一维的高斯分布推广到多维的高斯分布。推导...