预训练语言模型（零）：一些预备的数学知识

这里放了一些语言模型预备的数学知识
之前一直没发以为有可能会再补充，但几天过去了我啥也没补充，就先发上来吧

---

预备知识

1. sigmoid函数

sigmoid函数的定义如下：
$$\sigma (x)=\frac{1}{1+e^{-x}}\text{\hspace{1em}(1)}$$
函数定义域为 $(-\infty ,+\infty )$ ，值域为 $(0,1)$ ，下图为sigmoid函数的图像：

其导函数的形式如下：
$${\sigma }^{\prime }(x)=\sigma (x)[1-\sigma (x)]\text{\hspace{1em}(2)}$$
同时可得，函数 $\log \sigma (x)$ 和 $\log (1-\sigma (x))$ 的导函数分别为：
$$[\log \sigma (x){]}^{\prime }=1-\sigma (x)，[\log (1-\sigma (x)){]}^{\prime }=-\sigma (x)\text{\hspace{1em}(3)}$$

2. 逻辑回归

对于二分类问题来说，设 { ( x i , y i ) } i = 1 m \{ (x_i, y_i) \}_{i=1}^m {(xi​,yi​)}i=1m​ 为一个二分类问题的样本数据，其中 $x_i\in R^n$ , y i ∈ { 0 , 1 } y_i \in \{0,1\} yi​∈{0,1}。
那么对于样本 $\mathbf{x}=(x_1,x_2,\dots ,x_n{)}^{\mathrm{T}}$ ，二分类的hypothesis函数可以写成：
$$h_{\theta }(x)=\sigma ({\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+\dots +{\theta }_n{x}_n)\text{\hspace{1em}(4)}$$
其中 $\theta =({\theta }_0,{\theta }_1,{\theta }_2,\dots ,{\theta }_n{)}^{\mathrm{T}}$ ，同时为了符号简化，引入 $x_0=1$ ，将向量拓展为 $\mathbf{x}=(x_0,x_1,x_2,\dots ,x_n{)}^{\mathrm{T}}$ ，此时，$h_{\theta }$ 可以简写为：
$$h_{\theta }(x)=\sigma ({\theta }^{\mathrm{T}}\mathbf{x})=\frac{1}{1+e^{-{\theta }^{\mathrm{T}}\mathbf{x}}}\text{\hspace{1em}(5)}$$
实际应用中，单个样本的损失函数 $cost(x_i,y_i)$ 常取为对数似然函数：
$$cost(x_i,y_i)=\{\begin{array}{ll}-\log (h_{\theta }(x_i)),& y_i=1;\\ -\log (1-h_{\theta }(x_i)),& y_i=0.\end{array}\text{\hspace{1em}(6)}$$
这个分段函数也可以写成下面这个整体表达式：
$$cost(x_i,y_i)=-y_i\log (h_{\theta }(x_i))-(1-y_i)\log (1-h_{\theta }(x_i))\text{\hspace{1em}(7)}$$

3. 贝叶斯公式

不赘述了，只贴个公式好了：
$$P(A|B)=\frac{P(A,B)}{P(B)}=P(A)\frac{P(B|A)}{P(B)}\text{\hspace{1em}(8)}$$

4. 哈夫曼编码

也不多解释了，放一个小例子，关于哈夫曼树在语言模型里如何构建：

1. 约定左孩子词频较大，右孩子词频较小；
2. 约定左孩子节点编码为1，右孩子节点编码为0。

示意图如下：