数学知识
Bear_Kai
西北工业大学,模式识别
展开
-
常用矩阵向量求导公式
在机器学习中,常用的一般是求一个数对向量或矩阵的导数,这个数,一般表现为向量的内积,或者是矩阵的迹。α,x\alpha, \mathbf{x}是向量,A,B,CA, B, C是矩阵,假定以下向量矩阵都是合适大小、可乘的。∂xTα∂x=∂αTx∂x=α(1)\frac{ \partial{ \mathbf{x}^T \alpha} }{\partial \mathbf{x}} = \frac{ \pa原创 2017-06-16 11:27:32 · 2249 阅读 · 0 评论 -
Label Encoding & One-Hot Encoding
Label encoding在某些情况下很有用,但是场景限制很多。比如有一列 [dog,cat,dog,mouse,cat],我们把其转换为[1,2,1,3,2]。这里就产生了一个奇怪的现象:dog和mouse的平均值是cat。而且像decision tree,random forest和xgboost这种算法能处理好这种转换,而且相比转换前,所需要的内存空间小一点。One-Hot 编码即独热编码,转载 2017-08-30 22:50:07 · 4907 阅读 · 0 评论 -
一些公式/定理积累
积累一些可能会用的数学公式,有时可以作为简化计算、提升效率的小技巧。1. Woodbury Formula不想敲代码,直接截个wiki的图过来: 上面已经提到了这个公式的几种特殊情形,这里我们关注更简单的一种。当A是n阶单位阵,C是k阶单位阵时,有: (In+UV)−1=In−U(Ik+VU)−1V (I_n + UV)^{-1} = I_n - U(I_k + VU)^{-1}V 然后呢,原创 2017-06-16 11:49:25 · 2379 阅读 · 6 评论