数学基础
ttliu_kiwi
进一寸有一寸的欢喜~
读经典的书,走更多的路。
展开
-
链式法则(Chain rule)
本文主要讲解微积分中的链式法则(源自维基百科)在微积分中,链式法则是计算两个或两个以上函数组合的导数的公式。即,如果和都是函数,那么它们组合的链式法则可表示为:第二种表示方法为:还可以写成莱布尼茨表示法(如果变量依赖于变量,而变量又依赖于变量),则:以上表示的链式法则都是相关的,即:...翻译 2018-10-16 09:42:26 · 26829 阅读 · 0 评论 -
矩阵的迹(Trace)
译自维基百科在线性代数中,方阵A(n*n)的迹定义为对角线元素的和。即:矩阵的迹表示的是特征值的和,它不随基的变化而变化。通常,这种特性可以用来定义线性算子的轨迹。(注意:迹是对方阵而言的)举例:A是一个方阵,如下:则A的迹表示为:迹的特性:1. 迹是满足线性映射的,即:其中A,B 是方阵,c是常数。2. 矩阵乘积的迹...翻译 2018-10-16 10:24:03 · 112379 阅读 · 1 评论 -
交叉熵函数的数学原理
交叉熵函数 1. 二分类二分类问题的输出 一般是通过一个非线性函数(eg: softmax, tanh)将输出转换为0~1之前的概率值。预测值为1的概率:,预测值为0的概率:把上面的两种预测情况整合,可以得到:对上式等式两边区log,得到: 我们希望概率值越大越好,即值越大越好,而在最优化问题中,我们需要将其转换为最小化问题。所以,我们希望最小化。由此,我...原创 2018-11-27 16:32:20 · 519 阅读 · 0 评论 -
指数族分布和变分推断
指数族分布指数族分布的pdf / pmf可以表示成:p(x∣η)=h(x)exp(T(x)Tη−A(η))p(x| \eta)=h(x)exp(T(x)^T \eta - A(\eta))p(x∣η)=h(x)exp(T(x)Tη−A(η))其中,、T(x)、h(x)、T(x)、h(x)、T(x)、h(x)只是包含xxx的函数, A(η)A(\eta)A(η)是只包含η\etaη的函...原创 2019-04-18 20:22:59 · 649 阅读 · 1 评论