学习记录之数学表达式（3）

六、函数

  函数（映射）由定义域与值域，并且对于定义域的每个值，在值域中有且仅有一个值与其对应。
  当定义域与值域仅涉及到数（实数、虚数或其子集时），习惯称为函数；其它情况，习惯称为映射。

6.1 一元函数

  $f:\mathbb{R}\to \mathbb{R}$，源码为：f: \mathbb{R} \to \mathbb{R}；
  $f(x)=x^2+1$，源码为：f(x)=x^{2}+1；
  $x\mapsto x^2+1$，源码为：x \mapsto x^2 + 1；
   注意：

• 函数的定义域必须准确申明；
• 函数的值域可以写成实际取值范围的超集（超集指的是一个包含另一个集合所有元素的集合），例如实际取值范围为：$[1,\infty )$（源码为[1, \infty)），也可以写为：$\mathbb{R}$；
• 可以多对一，但是不可以一对多；
• 逆函数${\mathbf{f}}^{-1}(x)$不一定存在，如果存在，那就是一一映射关系；
  练习： 画出这个函数的曲线；
  讨论：
• $f:\mathbb{R}\to \mathbb{R}$ 的点构成 $\mathbb{R}\times \mathbb{R}$ 的子集，它可以看做 $\mathbb{R}$ 上的二元关系吗？
  反过来说肯定不行，例如：$x^2+y^2=1$ 可以看做是 $\mathbb{R}$ 上的二元关系，但它无法写成$y=f(x)$ 的形式。在某些领域所说的多解性，就是指$f(x)$有多种可能，所以无法获得确定的函数。在这里，如果$x=0$，则$y=\pm 1$（源码为y = \pm 1）。

6.2 多元函数

  $f:{\mathbb{R}}^2\to \mathbb{R}$，源码为f: \mathbb{R}^2 \to \mathbb{R}；
  $f(x,y)=x^2+y^2$
  思考：这个函数什么样子？
  机器学习的回归，其实就是学习函数。
  $f:{\mathbb{R}}^2\to \mathbb{R}$，其中 $m$ 是条件属性数。

6.3 函数的值域

  函数值不一定是单个的实数、整数，还可以为一个向量。从集合的角度，笛卡尔积是集合，可以作为值域。
  $f:{\mathbb{R}}^2\to {\mathbb{R}}^2$，如 $f(x,y)=(x+y,x-y)$；
  可以将这个函数拆看，分别定义：

• $f_1(x,y)=x+y$ 和 $f_2(x,y)=x-y$
  易知：如果 $f_1$ 或 $f_2$ 中的任何一个不成立（多解性），则 $f$ 不成立；
• 在多标签学习中，就是学习： f : R m → { − 1 , + 1 } L \mathbf{f}: \mathbb{R}^m \to \{-1,+1\}^{L} f:Rm→{−1,+1}L；
• 在多标签分布学习中，就是学习：$\mathbf{f}:{\mathbb{R}}^m\to [0,1{]}^L$，其中 $m$ 是条件属性数，$L$ 为标签数；

6.4 名词型数据集的拟合函数

  决策树数据集
  给定一组属性及其相应的取值范围，如 outlook (${\mathbf{V}}_1$ = {sunny, rainy, overcast}), temperature (${\mathbf{V}}_2$ = {hot, mild, cool}), humidity (${\mathbf{V}}_3$ = {high, low, normal}), windy (${\mathbf{V}}_4$ = {mild,strong}), play ($\mathbf{V}$_d$ = {yes, no})，则需要学习的函数为：
$$f:{\mathbf{V}}_1\times {\mathbf{V}}_2\times {\mathbf{V}}_3\times {\mathbf{V}}_4\to {\mathbf{V}}_d$$

6.5 作业

  举例你对函数的认识

• 函数描述了两个集合之间的一种特殊关系。具体来说，函数是从一个集合（称为定义域）到另一个集合（称为值域）的映射，其中每个定义域中的元素都唯一对应值域中的一个元素。
• 函数在机器学习中应用广泛，它们使得算法能够学习和表示复杂的模式和关系，可以用来表示模型的假设、损失函数、激活函数等，从而实现准确的预测和分类等。

七、向量/矩阵的范数

  向量可以看作是 $1\times n$ 矩阵，但是从数学的角度上看，其范数的意义不同，所以不可以将向量范数直接扩充用于矩阵范数。

7.1 向量的${\mathbf{l}}_{\mathbf{p}}$范数

  给定向量$\mathbf{x}=[{\mathbf{x}}_1,\dots ,{\mathbf{x}}_n]$
$$\Vert \mathbf{x}{\Vert }_p={\left(\sum _{i=1}^n|x{|}^p\right)}^{\frac{1}{p}}\text{\hspace{1em}(1)}$$
源码为：\Vert \mathbf{x} \Vert_p = \left( \sum_{i=1}^{n} \vert x \vert^{p} \right)^{\frac{1}{p}} \tag{1}；
若在Latex环境下，应该把 \Vert 换为 |；

7.1.1 ${\mathbf{l}}_0$ 范数

∥ x ∥ 0 = ∣ { 1 ≤ i ≤ n ∣ x i ≠ 0 } ∣ (2) \Vert \mathbf{x} \Vert_0 = \vert \{ 1 \le i \le n \vert x_i \ne 0 \} \vert \tag{2} ∥x∥0​=∣{1≤i≤n∣xi​=0}∣(2)
  源码为：\Vert \mathbf{x} \Vert_0 = \vert { 1 \le i \le n \vert x_i \ne 0 } \vert \tag{2}；
  语义：非零项个数；

7.1.2 ${\mathbf{l}}_1$ 范数

  当$\mathbf{p}=1$时：
$$\Vert \mathbf{x}{\Vert }_1=\sum _{i=1}^n|x_i|\text{\hspace{1em}(3)}$$
  源码为：\Vert \mathbf{x} \Vert_1 = \sum^{n}_{i=1} \vert x_i \vert \tag{3}；
  语义：绝对值之和，常用于计算绝对误差；

7.1.3 ${\mathbf{l}}_2$ 范数

$$\Vert \mathbf{x}{\Vert }_2=\sqrt{\sum _{i=1}^n{x}_i^2}\text{\hspace{1em}(4)}$$
  源码为：Vert \mathbf{x} \Vert_2 = \sqrt { \sum_{i=1}^{n} x_{i}^{2} \tag{4}}；
$$\Vert \mathbf{x}{\Vert }_2^2=\sum _{i=1}^n{x}_i^2\text{\hspace{1em}(5)}$$
  源码为：\Vert \mathbf{x} \Vert_2^2 = \sum_{i=1}^{n} x_{i}^{2} \tag{5}；
  语义为：平方和，常用于计算平方误差；

7.1.4 ${\mathbf{l}}_{\infty }$ 范数

$$\Vert \mathbf{x}{\Vert }_{\infty }=\underset{1\le i\le n}{\max }|x_i|\text{\hspace{1em}(6)}$$
  源码为：\Vert \mathbf{x} \Vert_{\infty} = { \max_{1 \le i \le n} \vert x_{i} \vert \tag{6}}；
  其中，infty是infinity的缩写；
  语义：绝对值中的最大值；

7.2 矩阵的范数

  给定矩阵$\mathbf{X}=[x_{ij}{]}_{n\times m}$;

7.2.1 Fro范数

$$\Vert \mathbf{X}{\Vert }_{\mathbf{F}}=\sqrt{\sum _{i,j}{x}_{ij}^2}\text{\hspace{1em}(7)}$$
  源码为：\Vert \mathbf{X} \Vert_{\mathbf{F}} = \sqrt { \sum_{i,j} x_{ij}^{2} \tag{7}}；
  经常取其平方，即：
$$\Vert \mathbf{X}{\Vert }_{\mathbf{F}}^2=\sum _{i,j}{x}_{ij}^2\text{\hspace{1em}(8)}$$
  源码为：\Vert \mathbf{X} \Vert_{\mathbf{F}}^{2} = \sum_{i,j} x_{ij}^{2} \tag{8}；
  这里有直接将向量 ${\mathbf{l}}_2$ 范数进行扩充的意思；
  注意：这里忽略了 $i,j$的取值范围，就表示用最大可能的范围；

7.2.2 ${\mathbf{l}}_{2,1}$ 范数

  对每个行向量求 ${\mathbf{l}}_2$ 范数，获得一个列向量，再对该列向量取 ${\mathbf{l}}_1$ 范数；
$$\Vert \mathbf{X}{\Vert }_{2,1}=\sum _i\sqrt{\sum _j{x}_{ij}^2}\text{\hspace{1em}(9)}$$
  注意：

• 这里使用向量范数定义矩阵范数，而不是直接扩充到矩阵；
• $\Vert \mathbf{X}{\Vert }_{\mathbf{F}}^2$ 相当于先求行向量的 ${\mathbf{l}}_2$ 范数平方，再求列向量的 ${\mathbf{l}}_1$ 范数，即：
  $$\Vert \mathbf{X}{\Vert }_{\mathbf{F}}^2=\sum _i\Vert \mathbf{X}{\Vert }_2^2\text{\hspace{1em}(10)}$$
    源码为：\Vert \mathbf{X} \Vert_{\mathbf{F}}^{2} = \sum_{i} \Vert \mathbf{X} \Vert_{2}^{2} \tag{10}；

7.2.3 实际应用

  线性模型经常使用系数矩阵 $\mathbf{W}$ 的 ${\mathbf{l}}_{2,1}$ 范数作为正则项：
$$\underset{\mathbf{W}}{\min }\Vert \mathbf{XW}-\mathbf{Y}{\Vert }_{\mathbf{F}}^2+\lambda \Vert \mathbf{W}{\Vert }_{2,1}\text{\hspace{1em}(11)}$$
  源码为：\min_{\mathbf{W}} \Vert \mathbf{X}\mathbf{W} - \mathbf{Y} \Vert_{\mathbf{F}}^{2} + \lambda \Vert \mathbf{W} \Vert_{2,1} \tag{11}；

7.3 作业

• 自己给定一个向量、一个矩阵并计算其各种范数；

  假设向量：
$$\mathbf{X}=(3,0,2)$$
   则：

• ∥ X ∥ 0 = ∣ { 1 ≤ i ≤ n ∣ x i ≠ 0 } ∣ = 2 \Vert \mathbf{X} \Vert_0 = \vert \{ 1 \le i \le n \vert x_i \ne 0 \} \vert = 2 ∥X∥0​=∣{1≤i≤n∣xi​=0}∣=2
• $\Vert \mathbf{X}{\Vert }_1={\sum }_{i=1}^n|x_i|=3+2=5$
• $\Vert \mathbf{X}{\Vert }_2=\sqrt{{\sum }_{i=1}^n{x}_i^2}=\sqrt{9+4}=\sqrt{13}$
• $\Vert \mathbf{X}{\Vert }_{\infty }={\max }_{1\le i\le n}|x_i|=3$

  假设矩阵：
$$\mathbf{A}=\left[\begin{array}{ccc}1& 4& 2\\ 0& 1& 5\\ 2& 3& 6\end{array}\right]$$
   则：

• $\Vert \mathbf{A}{\Vert }_{\mathbf{F}}=\sqrt{{\sum }_{i,j}{\mathbf{a}}_{ij}^2}=\sqrt{1+16+4+0+1+25+4+9+36}=\sqrt{96}=4\sqrt{6}$
• $\Vert \mathbf{A}{\Vert }_{2,1}={\sum }_i\sqrt{{\sum }_j{\mathbf{a}}_{ij}^2}=7+\sqrt{21}+\sqrt{26}$

Latex特殊符号

符号	命令	符号	命令
$	\ $	$\%$	\ %
{ \{ {	\ {	$\_$	\ _
$\#$	\ #	$\&$	\ &
$\stackrel{ˆ}{}$	\ ^{}	$\tilde{}$	\ ~{}
$\backslash$	\ backslash