最优化理论——（一）绪论2 数学预备知识

1.向量的范数和矩阵的正定性

1.基本概念

2.内积与范数

• 范数，是具有“长度”概念的函数。在线性代数、泛函分析及相关的数学领域，是一个函数，其为向量空间内的所有向量赋予非零的正长度或大小。用表示 ||x||
• 关于范数与内积，我们有两个重要不等式
  • 三角不等式：
    $$||x+y||<=||x||+||y||$$
  • 柯西不等式：
    $$|x^T|<=||x||||y||$$
• 定义
  
• 定理
  

3.正定矩阵

• 定义：设A为n阶实对称方阵，对任意n维非零向量x
  除此之外，称A为不定矩阵
• 性质
  

2.多元函数的梯度、Hesse矩阵及Taylor 公式

1.梯度定义

2.方向导数






3.梯度性质

4.Hesse矩阵


5.几个常用向量值函数的梯度公式

6.向量值函数的可微


7.n元函数在一点处的泰勒展式