程序媛的自学笔记

基本功太太太不扎实了，记录一下看论文里边提到的各种矩阵的乘法相关的操作。1. Hadamard product（哈达玛乘积）1.1 定义若A=(aij)A=(a_{ij})A=(aij​)和B=(bij)B=(b_{ij})B=(bij​)是两个同阶矩阵，若cij=aij×bijc_{ij}=a_{ij}×b_{ij}cij​=aij​×bij​,则称矩阵C=(cij)C=(c_{ij})C...

此文用于记录范数的基础知识，便于后续的查阅与复习，不定期更新。1. Frobenius norm (Frobenius 范数)1.1 定义Frobenius 范数，简称F-范数，是一种矩阵范数，记为∣∣⋅∣∣F||·||_F∣∣⋅∣∣F​。矩阵A的Frobenius范数定义为矩阵AAA各项元素的绝对值平方的总和，即∣∣X∣∣F=∑i∑jxi,j2||X||_F=\sqrt{\sum_i\s...

首先，我们知道， 熵 是用来量化数据中含有的信息量的，其计算公式为：H=−∑i=1Np(xi)⋅log⁡p(xi)H=-\sum_{i=1}^{N}p(x_{i})\cdot \log p(x_{i})H=−i=1∑N​p(xi​)⋅logp(xi​)1）KL散度（Kullback–Leibler divergence）又称KL距离，相对熵，用来比较两个概率分布的接近程度。假设 p(x)...