数学小抄: 伍德伯里衡等式Woodbury identity

前言

在领域内一个算法中用到了Woodbury identity, 百度了一下它的推导还算是有趣. 因此记录下来.

正文

两个引理:

  1. ( I + P ) − 1 = ( I + P ) − 1 ( I + P − P ) = I − ( I + P ) − 1 P (I+P)^{-1}=(I+P)^{-1}(I+P-P)=I-(I+P)^{-1}P (I+P)1=(I+P)1(I+PP)=I(I+P)1P
  2. ( I + P Q ) − 1 P = P ( I + Q P ) − 1 (I+PQ)^{-1}P=P(I+QP)^{-1} (I+PQ)1P=P(I+QP)1
    证明:
    P = P I = P ( I + Q P ) ( I + Q P ) − 1 = ( P + P Q P ) ( I + Q P ) − 1 = ( I + P Q ) P ( I + Q P ) − 1 \begin{split} P=PI=P(I+QP)(I+QP)^{-1}&=(P+PQP)(I+QP)^{-1}\\ &=(I+PQ)P(I+QP)^{-1} \end{split} P=PI=P(I+QP)(I+QP)1=(P+PQP)(I+QP)1=(I+PQ)P(I+QP)1

Woodbury identity :
( A + B D − 1 C ) − 1 = A − 1 − A − 1 B ( D + C A − 1 B ) − 1 C A − 1 (A+BD^{-1}C)^{-1}=A^{-1}-A^{-1}B(D+CA^{-1}B)^{-1}CA^{-1} (A+BD1C)1=A1A1B(D+CA1B)1CA1

  1. 假设A是一个可逆矩阵,则有:
    ( A + B C D ) − 1 = ( A [ I + A − 1 B C D ] ) − 1 = [ I + A − 1 B C D ] − 1 A − 1 (A+BCD)^{-1}=(A[I+A^{-1}BCD])^{-1}=[I+A^{-1}BCD]^{-1}A^{-1} (A+BCD)1=(A[I+A1BCD])1=[I+A1BCD]1A1
    结合引理1有:
    A − 1 − ( I + A − 1 B C D ) − 1 A − 1 B C D A − 1 A^{-1}-(I+A^{-1}BCD)^{-1}A^{-1}BCDA^{-1} A1(I+A1BCD)1A1BCDA1
    使用引理2两次有:
    原式 = A − 1 − A − 1 ( I + B C D A − 1 ) − 1 B C D A − 1 = A − 1 − A − 1 B ( I + C D A − 1 B ) − 1 C D A − 1 \begin{split} 原式&=A^{-1}-A^{-1}(I+BCDA^{-1})^{-1}BCDA^{-1}\\ &=A^{-1}-A^{-1}B(I+CDA^{-1}B)^{-1}CDA^{-1}\\ \end{split} 原式=A1A1(I+BCDA1)1BCDA1=A1A1B(I+CDA1B)1CDA1
    当C是一个可逆矩阵时, 上式等于
    A − 1 − A − 1 B ( C − 1 + D A − 1 B ) − 1 D A − 1 A^{-1}-A^{-1}B(C^{-1}+DA^{-1}B)^{-1}DA^{-1} A1A1B(C1+DA1B)1DA1

参考链接

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
学习人工智能,机器学习都离不开数学基础和编程知识。无论你是数据科学的初学者还是已经从事人工智能开发的有经验人员,这门课都适合于你。为什么这么说?首先人工智能和机器学习本质上就是算法,而算法就是数学及统计学以及编程的结合。当前市场上有许多开源的软件包如SKLEARN确实可以帮助没经验的或缺乏数学或算法基础的人实现机器学习模型及预测,但这些工具无法使你真正懂得算法的本质或来源,或者无法使你在不同场合下灵活运用及改进算法。记住,在实际工作中找到适合应用场景的解决方案是最难但是最重要的。但这离不开数学基础和算法理解。比如,线性回归是一类普遍的机器学习算法,所有的机器学习软件都有现成的方法实现模型,但如果在训练数据中加入几条新数据,那么新建立的模型和原来的模型有和联系或不同?再比如,为什么深度神经网络中的Sigmoid函数一般只用到输出层?神经网络的向后传播理论如何与泰勒展开和复合函数的偏导数联系在一起?人工智能中推荐系统和文字向量如何与矩阵的奇异分解以及特征向量联系?模型中对标签进行数据变换如何影响预测值?所有这些问题的答案,你都可以从本课中找到线索。本课系统地讲述了有关人工智能,机器学习背后的数学知识。特别指出,微积分和代数知识是本课的核心。统计学基础被安排在另外的课程中。除此之外,我在每一章节或主要知识点后都安排了各类程序以解释和回顾所学到的东西。最后要提到的是,这不是一门工程项目实践课。但我会另外专门安排有关人工智能,机器学习的实践课程
### 回答1: Leetcode算法小抄是一份权威的算法手册,包含了Leetcode上常见的算法题目的解法和详细讲解。这个小抄对于想要提升自己算法能力的程序员来说非常有用。该小抄包括以下内容: 1.基础数据结构:包括数组、链表、栈、队列、树、哈希表等。 2.算法基础:包括排序算法、搜索算法、贪心算法、动态规划等。 3.高级算法:包括图论、字符串匹配、线性代数、计算几何等。 每个算法题目都附有详细的解析和代码实现,方便程序员进行学习和练习。此外,该小抄还提供了优秀的算法实现其他程序员的思路和解答,这对于新手来说尤为重要。 总之,Leetcode算法小抄是一份非常实用的算法手册,如果你想成为一名出色的程序员,学习和掌握其中的内容必不可少。 ### 回答2: LeetCode算法小抄是一份非常实用的算法指南,它包含了大量的算法问题和解答,而且所有的算法问题都是以LeetCode网站上的题目为蓝本的。这个小抄主要面向准备参加Google、Facebook、 Apple等知名科技公司的笔试或者面试的程序员,也适用于想要提高自己算法能力的人。这份小抄的编制者是Steven Halim和Felix Halim,也就是ACM竞赛的著名选手和教练。他们将自己多年的ACM竞赛经验倾囊相授,帮助大家提高算法能力。小抄中包含了高频出现的数据结构和算法,如树、图、排序、数组、动态规划等,每个算法都有详细的解释和代码实现。此外,小抄还包含了一些实用技巧,如测试用例设计、代码调试、复杂度分析等。总之,LeetCode算法小抄是一份非常实用、全面的算法指南,如果你想要提高自己的算法能力,相信它一定能为你带来帮助。 ### 回答3: LeetCode算法小抄是一个常用的算法学习工具,它主要是为了帮助程序员更加高效地学习和掌握LeetCode算法。LeetCode算法小抄中收录了大量经典的算法题目,并提供了详细的题解和代码示例,涵盖了各种数据结构、算法和编程技术。 LeetCode算法小抄的优点在于它的简便性和针对性。其内容结构清晰,难度逐渐增加,让读者能够逐步学习并掌握更加复杂的数据结构和算法。同时,小抄中提供了大量的代码示例和优化方法,可以帮助读者更加深入地理解和掌握算法。 另外,LeetCode算法小抄还提供了各种算法题目的分类、标签和解法推荐,让读者能够更加容易地找到自己需要的题目和解法。同时,小抄中还提供了一些常见的面试题目和解题思路,可以帮助读者更好地应对工作中和面试中的挑战。 总之,LeetCode算法小抄是一本非常实用的算法学习工具,它可以帮助程序员更加高效地学习和掌握算法知识。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值