机器学习常用数学公式

reconstruction error

$x\rightarrow y\rightarrow z$，$y$是被污染的$x$，$z$是从$y$中试图对$x$进行的重构。如何度量重构的好坏，此时就要用到重构误差，也即reconstruction error。

重构误差可通过多种方式进行度量，度量方式的选择取决于给定映射（也即编码code）下关于输入的分布的假设。

• 传统的平方误差：

  $$L(x,z)=\|x-z\|^2$$

  • cross-entropy

    $$L_H(x, z)=-\sum_{k=1}^dx_k\log(z_k)+(1-x_k)\log(1-z_k)$$

  • 常见向量导数

    对于一个$p$维向量$\mathrm{x}\in\mathbb{R}^p$，函数$y=f(x)=f(x_1, \ldots, x_p)\in\mathbb{R}$（比如向量的内积运算），则$y$关于$x$的导数为：
    

    $$\nabla_xf(x)=\begin{bmatrix}\frac{\partial f}{\partial x_1}\\ \frac{\partial f}{\partial x_2}\\ \vdots \\ \frac{\partial f}{\partial x_p}\end{bmatrix}\in\mathbb{R}^p$$

    对于一个$p$维向量$x\in\mathbb{R}^p$，函数$y=f(x)=f(x_1, x_2, \ldots, x_p)\in\mathbb{R}^q$（如$(A_{q\times p}x_{p\times 1})_{q\times 1}$）

    $$\nabla_xf(x)=\begin{bmatrix} \frac{\partial f_1}{\partial x_1}&\frac{\partial f_2}{\partial x_1}&\cdots & \frac{\partial f_q}{\partial x_1}\\ \vdots & \vdots & \ddots & \vdots \\ \frac{\partial f_1}{\partial x_p} & \frac{\partial f_2}{x_p}&\cdots & \frac{\partial f_q}{x_p}\end{bmatrix}\in\mathbb{R}^{p\times q}$$

    所以有：
    

    $$\frac{\partial Ax}{\partial x}=\begin{bmatrix}\beta_1^T\\\beta_2^T\\\vdots\\\beta_m^T\end{bmatrix}x=\begin{bmatrix}\beta_1^Tx\\\beta_2^Tx\\\vdots\\\beta_m^Tx\end{bmatrix}=[\beta_1,\beta_2,\ldots,\beta_m]=A^T\\ $$
    $$\frac{\partial x^TA}{\partial x}=x^T[\alpha_1,\alpha_2,\ldots,\alpha_n]=[x^T\alpha_1, x^T\alpha_2,\ldots, x^T\alpha_n]=[\alpha_1, \alpha_2, \ldots,\alpha_n]$$

    范数求导

    线性回归（linear regression）的损失函数（loss function）：

    $$\mathcal{L}=\min_w\frac12\|Y-Xw\|_2^2$$

    其中$Y_{N\times 1},X_{N\times (d+1)},w_{(d+1)\times 1}$，想求得最小化时的权值向量$w$，此时需要求解损失函数$\mathcal{L}$对权值向量$w$的导数：
    

    $$\frac{\partial \mathcal{L}}{\partial w}=X^T(Y-Xw)$$

    从形式上看，对二范数的平方（一个标量）求导得一个向量。最优权值向量$w$，也即是$\frac{\partial \mathcal{L}}{\partial w}=0$时的$w$，也即$w_{Lin}=(X^TX)^{-1}X^TY=X^{\dagger}Y$。

    其实范数的本质是一个函数，也即是一种矢量向标量的映射，例如，我们可以将其看做$\frac12f(x)^2$，其对$x$的导数为$f'(x)f(x)$

    按位运算，值到值映射的求导

    给定一个函数$f(x)$的输入是标量$x$，对于一组$K$个标量$x_1, x_2, \ldots, x_K$，通过$f(x)$得到另外一组$K$个标量$z_1, z_2,\ldots,z_K$,

    $$z_k=f(x_k), \forall k=1, 2, \cdots, K$$

    为简单起见，我们定义$\mathbf{x}=[x_1, x_2, \cdots, x_K]^T,\,\mathbf{z}=[z_1, z_2, \cdots,z_K]^T$，
    

    $$\mathbf{z}=f(\mathbf{x})$$ ，
    $f(\mathbf{x})$是按位（element-wise）运算，即 $(f(x))_i=f(x_i)$

    如果将$f(x)$的导数记为$f'(x)$，当这个函数的输入为$K$维向量$x=[x_1, x_2, \ldots, x_K]$时，其导数为一个对角矩阵：
    

    $$\frac{\partial f(x)}{\partial x}=[\frac{\partial f(x_j)}{\partial x_i}]_{K\times K}=\begin{bmatrix} f'(x_1)&0&\cdots&0\\ 0&f'(x_2)&\cdots&0\\ \vdots&\vdots&\ddots&\vdots\\ 0&0&\cdots&f'(x_k) \end{bmatrix}$$

    比如RNN网络，$h_t=f(Uh_{t-1}+Wx_t+b)$，$\frac{\partial h_i}{\partial h_{i-1}}=U^T\mathrm{diag}[f'(h_{i-1})]$

    softmax

    $$P(Y=i|x,W,b)=softmax_i(Wx+b)=\frac{e^{W_ix+b_i}}{\sum_je^{W_jx+b_j}}$$

    这里$P(Y=i|x,W,b)$表达的是class-membership probabilities（这种类属概念只在多分类问题multi-class classification中才会出现）。其中$W_{n\_in\times n\_out}$表示权值矩阵，$W_j$表示权值矩阵的每一列（$1\leq j\leq n\_out$），这里得到的$Y=i$（$i$表示类别）与输入样本的真实的样本label值无关，这里纯做预测。所以有：
    

    $$y_{pred}=\arg\max_iP(Y=i|x,W,b)$$

    对应的代码形式为：

    self.p_y_given_x = T.nnet.softmax(T.dot(self.input, self.W)+self.b)
            # self.p_y_given_x：当前输入x下的x属于各个类别的概率
            # self.input => (n*n_in)
            # self.W => (n_in*n_out)
            # self.b => (n_out)
            # 所以当做完矩阵乘法的动作，然后进行相加时((n*n_out)+(n_out,))
            # 会对self.b进行broadcast，也即在列的方向上，拷贝拓展n份，构成一个（n*n_out）的矩阵，然后进行的相加
    self.p_pred = T.argmax(self.p_y_given_x, axis=1)

    对数似然函数

    $$\begin{split} &\mathcal L(\theta=\{W,b\},\mathcal D)=\sum_{i=0}^{|\mathcal{D}|}\log(p(Y=y^{(i)}|x^{(i)},W,b))\\ &\ell(\theta=\{W,b\},\mathcal{D})=-\mathcal{L}(\theta=\{W,d\},\mathcal{D}) \end{split}$$

    $\theta=\{W,b\}$表示参数集，$\mathcal{D}$表示样本集，$|\mathcal{D}|$表示样本集的基数（cardinal number，也即样本的个数，X.shape[0](numpy)）。

    上式表示多分类问题的对数似然函数。下式是作为损失函数（loss function）的似然函数（negative log likelihood）。

    反映在代码中，其实十分简洁：

    def loss_function(self, y):
        return -T.mean(T.log(self.p_y_given_x)[T.arange(y.shape[0]), y])

    在取和式的同时顺便又一个取均值的动作。

    sigmoid

    sigmoid系（Logistic-Sigmoid、Tanh-Sigmoid）被视为神经网络的核心所在：

    $$\sigma(z)=\frac1{1+\exp(-z)}=\frac{1+\tanh(z/2)}2$$
    $$\tanh(z)=\frac{\exp(z)-\exp(-z)}{\exp(z)+\exp(-z)}=2\sigma(2z)-1$$
    
    
    

    值域分别是$\sigma(z)\in(0, 1)\,\tanh(z)\in(-1, 1)$

    它们各自的导数分别为：
    

    $$\begin{split}&\sigma'(z)=\sigma(z)(1-\sigma(z))\\ &\tanh'(z)=1-(\tanh(z))^2 \end{split}$$
    
    
    
    值域分别是： $\sigma'(z)\in(0, 0.25],\,\tanh'(z)\in(0, 1]$

    源代码请见sigmoid_tanh_prime

    softmax

    数学上，输入向量$x$属于类别$i$的概率，记为随机变量$Y$，其数学形式如下：
    

    $$P(Y=i|x, w, b) = softmax_i(Wx+b)=\frac{e^{Wx_i+b}}{\sum_je^{Wx_j+b}}$$
    与之相对应的模型进行类别的预测时：
    
    $$y\_pred=\arg\max_iP(Y=i|x,w,b)$$

    多元高斯密度函数（Multivariate Gaussian Density）

    $$p(\vec{x})\propto \exp\begin{bmatrix}-\frac12(\vec{x}-\vec{\mu})^T\Sigma^{-1}(\vec{x}-\vec\mu)\end{bmatrix}$$

    where $\vec \mu$ is an $N$-dimensional vector position of（注意这里的通用表达） the mean of the density and $\Sigma$是$N\times N$的协方差矩阵。