线性代数——柯西不等式

一、柯西不等式

1、基本介绍

a_{i}b_{i}\in R,其中i=1,2,...,n,则(\sum ^{n}_{i=1}a_{i}b_{i})^{2}\leq (\sum ^{n}_{i=1}a_{i}^{2})(\sum ^{n}_{i=1}b_{i}^{2}),取等时,\frac{a_{1}}{b_{1}}=...=\frac{a_{n}}{b_{n}},即a_{i}=\lambda b_{i}

2、证明

取向量\overrightarrow{m}=(a_{1},a_{2},...,a_{n})\overrightarrow{n}=(b_{1},b_{2},...,b_{n})

因为\left | \overrightarrow{m}\cdot \overrightarrow{n}\right|=\left | \overrightarrow{m}\right| \cdot \left | \overrightarrow{n}\right|\cdot cos\theta \leq \left | \overrightarrow{m}\right| \cdot \left | \overrightarrow{n}\right|

\left ( \left | \overrightarrow{m}\cdot \overrightarrow{n}\right| \right )^{2}=(\sum ^{n}_{i=1}a_{i}b_{i})^{2}\left ( \left | \overrightarrow{m}\right| \cdot \left | \overrightarrow{n}\right| \right )^{2}=(\sum ^{n}_{i=1}a_{i}^{2})(\sum ^{n}_{i=1}b_{i}^{2})

所以(\sum ^{n}_{i=1}a_{i}b_{i})^{2}\leq (\sum ^{n}_{i=1}a_{i}^{2})(\sum ^{n}_{i=1}b_{i}^{2})成立,取等时cos\theta =1,此时\overrightarrow{m}=\lambda \overrightarrow{n}a_{i}=\lambda b_{i}

根据以上的证明所得(\left | \overrightarrow{m}\cdot \overrightarrow{n}\right|)^{2}\leq \left ( \left | \overrightarrow{m}\right| \cdot \left | \overrightarrow{n}\right| \right )^{2},我们可以将柯西不等式理解为:两个向量的内积的模长的平方,小于等于两者模长的平方的积

3、向量的柯西不等式

以上的柯西不等式,其实是向量柯西不等式在代数上的推广,向量的柯西不等式有:-\left | \overrightarrow{a}\right| \cdot \left | \overrightarrow{b}\right| \leq \overrightarrow{a}\cdot \overrightarrow{b} \leq \left | \overrightarrow{a}\right| \cdot \left | \overrightarrow{b}\right|

证明:根据余弦函数的性质,对任意的\theta,有-1 \leq cos\theta \leq 1,两边同时乘以\left | \overrightarrow{a}\right| \cdot \left | \overrightarrow{b}\right|,有-\left | \overrightarrow{a}\right| \cdot \left | \overrightarrow{b}\right| \leq \left | \overrightarrow{a}\right| \cdot \left | \overrightarrow{b}\right|cos\theta \leq \left | \overrightarrow{a}\right| \cdot \left | \overrightarrow{b}\right|

两个向量\overrightarrow{a}\overrightarrow{b}的大小固定时,有下图(1)、(2)、(3) 的 3 种关系。

根据柯西 - 施瓦茨不等式 (3),可以得出以下性质:

  • 当两个向量方向相反时,内积取得最小值。

  • 当两个向量不平行时,内积取平行时的中间值。

  • 当两个向量方向相同时,内积取得最大值。

性质①就是梯度下降法的基本原理。

另外,可以认为内积表示两个向量在多大程度上指向相同方向。如果将方向相似判定为“相似”,则两个向量相似时内积变大。我们考察卷积神经网络时,这个观点就变得十分重要。

 

 

 

 

 

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

xia ge tou lia

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值