应用数学和机器学习基础

深度学习笔记

第一章 应用数学和机器学习基础

一、基本概念

1.标量（scalar）：标量是一个数，例如，$s=1$。
2.向量（vector）：向量是一列数，例如，向量 $\mathbf{v}=[1,2,3,4,5{]}^T$，向量一般默认按照列向量存储，是一维数组，表示 $n$ 维空间的一个点。其中向量中的第 $i$ 个元素为 ${\mathbf{v}}_i$.
矩阵（matrix）：矩阵是二维数组，例如，
$$\mathbf{M}=\left[\begin{array}{c}1,2\\ 3,4\end{array}\right]$$
矩阵大小为 $m\times n$，其中 $m$， $n$分别表示矩阵的行数和列数，矩阵的第 $i\times j$个元素为 ${\mathbf{M}}_{i,j}$。
3.张量(tensor):张量表示多维数组，例如
$$\mathbf{T}=\left[\begin{array}{c}\left[\begin{array}{c}1,2\\ 3,4\end{array}\right],\left[\begin{array}{c}5,6\\ 7,8\end{array}\right]\\ \left[\begin{array}{c}9,10\\ 11,12\end{array}\right]\left[\begin{array}{c}13,14\\ 15,16\end{array}\right]\end{array}\right]$$
读取张量中的某个元素为 ${\mathbf{T}}_{i,j,k}$。
注： 一般地，标量使用小写字母表示，向量使用小写粗体字母表示，矩阵和张量使用大写粗体字母表示。$s,\mathbf{v},\mathbf{M},\mathbf{T}$ 可分别表示标量 $a$, 向量 $\mathbf{v}$, 矩阵 $\mathbf{M}$, 张量 $\mathbf{T}$.

2、基本运算

1、向量内积
向量内积表示两个向量 $\mathbf{a}=[a_1,\dots ,a_n{]}^T$ 和 $\mathbf{b}=[b_1,\dots ,b_n{]}^T$ 对应元素的乘积之和，表示为 ${\mathbf{a}}^T\mathbf{b}$， 即
$${\mathbf{a}}^T\mathbf{b}=\sum _{i=1}^n{a}_i{b}_i$$
2、矩阵乘积
矩阵 ${\mathbf{A}}_{m\times n}$ 和矩阵 ${\mathbf{B}}_{n\times p}$ 的乘积可表示为 ${\mathbf{C}}_{m\times p}={\mathbf{A}}_{m\times n}{\mathbf{B}}_{n\times p}$，其中矩阵${\mathbf{C}}_{m\times p}$的第 $(i,j)$ 个元素为
$$C_{i,j}=\sum _{k=1}^n{A}_{i,k}{B}_{k,j}$$
3、矩阵点积（Hadamard乘积）
矩阵点积指两个矩阵 ${\mathbf{A}}_{m\times n},{\mathbf{B}}_{m\times n}$中对应元素的乘积，记为${\mathbf{C}}_{m\times n}={\mathbf{A}}_{m\times n}\odot {\mathbf{B}}_{m\times n}$, 矩阵$\mathbf{C}$的第 $(i,j)$ 个元素为
$${\mathbf{C}}_{i,j}={\mathbf{A}}_{i,j}{\mathbf{B}}_{i,j}$$
**