机器学习基础

向量

• 标量（Scalar）

  实数

• 向量 (Vector)

  n个实数组成的有序数组，称为n维向量。如果没有特别说明，一个n维向量一般表示列向量，既大小为nx1的矩阵。

  $$\begin{bmatrix}a_{1}\\a_{2}\\...\\a_{n}\\ \end{bmatrix}$$

向量的模

向量的模||a||表示向量的大小，记为

$$\left \| a \right \|= \sqrt{\prod_{i=1}^{n}{a_{i}}^{2}}$$

向量的范数

在数学上，范数包括向量范数和矩阵范数，向量范数表征向量空间中向量的大小，矩阵范数表征矩阵引起变化的大小。一种非严密的解释就是，对应向量范数，向量空间中的向量都是有大小的，这个大小如何度量，就是用范数来度量的，不同的范数都可以来度量这个大小，就好比米和尺都可以来度量远近一样；对于矩阵范数，学过线性代数，我们知道，通过运算AX=B，可以将向量X变化为B，矩阵范数就是来度量这个变化大小的
参考下：https://blog.csdn.net/a493823882/article/details/80569888

常见的向量及类型

矩阵和张量

• 矩阵(Matrix)

  一个大小为m X n 的矩阵是由一个m行n列的元素排成的矩形阵列.

• 张量(Tensor)

  张量的理解参考:http://www.360doc.com/content/18/0316/16/32196507_737535558.shtml
  后续补写

矩阵的基本运算

常见矩阵

导数

向量求导

导数运算法则

导数法则

常用函数及其导数

Logistic 函数

Softmax 函数