线性代数与矩阵论知识点总结

线性代数在ML和DL中扮演着非常重要的角色，虽然本科和研究生阶段修过线性代数与矩阵论，不过不用则废啊，最近还是想把这部分数据基础知识整理一下，加深理解，这样才能在机器学习与深度学习这条路上走的更远，包括微积分、最优化、随机过程、信息论等。

1. 向量及其运算

• 矩阵内积：两个向量对应分量之和。
  $$x^{T}y=\sum _{i=1}^n{x}_i{y}_i$$

• 线性模型可用内积表达
  $$w_1{x}_1+...+w_n{x}_n+b$$
  $$w^{T}x+b$$

• 两个向量内积为0，则正交

• 阿达马积：两个向量对应分量相乘，结果为相同维数向量
  $$x⨀y=(x_1{y}_1,...,x_n{y}_n{)}^T$$
  阿达马积可以简化问题的表述，在反向传播算法、各种梯度下降法中广泛使用。

• 向量的范数：向量模长的推广
  $$||x|{|}_p$$