线性代数往往是学习机器学习和深度学习的一大障碍，为了解决这个问题，我们特别邀请了 Udacity 机器学习&深度学习导师 Aaron，帮助大家梳理神经网络中涉及的数学知识，以及理解其物理含义。希望大家读过之后，可以使大家对于神经网络有更多角度的理解，帮助大家推导以及理解其中的数学公式。
线性代数
矩阵乘以向量的物理含义
矩阵乘法我更喜欢称作线性转换。一个矩阵乘以向量中，矩阵相当于一个转换函数，而向量是一个输入，已知了输入和函数，我们就可以知道输出。这里需要强调的是，向量共有两种形式，一种为列向量，一种为行向量。在默认情况下，向量是指列向量。大部分的国内教材中，并没有特意提到这一点。很多人接触到编写代码时，都是以行向量的形式开始学习，导致后续有很多概念产生混淆。在本文中，若无特殊说明，向量的形式默认为列向量。
首先我们先看以下的2道热身题：
1. 假设读者并不知道矩阵乘法的运算准则，能否在假想的几何空间中，快速地反应出答案是多少呢？给大家30s。（记住，不可以通过运算法则来进行计算）
2. 同样地，利用假想的几何空间想象，是否可以立即解答出矩阵M是什么？
如果读者可以快速解答出上面的问题，那么恭喜您，您已经了解了线性代数空间转换的本质；如果没有解答出，那就是我写这篇文章的意义。
先抛开上面两道题，这里来介绍一下矩阵。
线性代数与空间几何是存在紧密的联系的。基本所有的线性代数都有其对应的几何表示方法。理解几何，是理解线性代数的核心所在。
以二维空间来说，举个栗子：
现在，我们来看一张动图：
更多动图的信息请关注3Blue1Brown主页，里面有大量冲破你数学世界观的知识。3Blue1Brown还有视频集。B站有做了很赞的汉化，不过更鼓励大家去看英文原版视频。
我们来继续看看表示方法：
这其中的区别就是基向量不一样了，而线性组合的系数 -1 与 2 保持固定不变。
我们把变换后的基向量放在一起，变为矩阵：
我们在来看另一幅动图来实践一下，找到这幅动图的线性变换矩阵是什么？
根据上面的方法，锁定绿色与红色基向量末尾的位置，这幅动图的线性变换矩阵为
而其原来所有坐标系上的向量都随之变换发生改变。
现在再回头看看上面的两道题？是否能够通过想象的空间去快速找到答案？
如果不是方阵咋办？
上面我们讲的是方阵，那么如果不是方阵呢？比如一个 3 x 2 的矩阵，或者一个 2 x 3 的矩阵呢？ (以下我们只用中括号来代表具体矩阵的形状，具体数字并不重要。)
我们来以 3 x 2 矩阵形式举例，如下所示：
3 x 2 的矩阵的物理含义就是把一个向量从二维表示方法转换到三维表示。而转换矩阵的每一列就代表：将二维空间对应的基向量转换到三维的样子。将这种变换规律映射到其他变换的二维向量；同样地， 2 x 3 矩阵物理含义就是将一个向量从三维表示转换成二维表示。转换矩阵每一列代表：三维空间的基向量映射到二维空间之后的样子。将这种变换规律映射到其他变换的三维向量。
现在，我们再进行下一步操作。如果我们假设让一个4维向量，先转化为3维向量，在转化为二维向量，那么它的形式是什么样子的呢？
通过以上形式，我们可以发现如果将一个列向量经过多次线性转换，他的顺序应该是从右至左的顺序。这就是标准的线性代数书中所讲到的连续线性变换的形式，从右至左也是线性代数数学家习惯的顺序。
但是，在很多神经网络包括深度学习网络的课程中我们可以看到，更符合我们阅读的顺序是将一个输入数据拿进来之后经过一次矩阵转换，从左至右得到输出结果。他们之间有什么联系呢？
通过观察我们可以知道，这其中最大的原因在于数据的形式，也就是上文中提到的每一个样本表示方法是列向量还是行向量。如果是列向量，变换的顺序就是从右至左；如果是行向量，变换顺序就是从左至右。而相应的矩阵形状也发生反转。
所有形式为矩阵乘以矩阵
神经网络中，大家都希望最终的形式为矩阵乘以矩阵，不希望中间有任何向量的存在，这样显得更酷，实际上计算也更快。这很简单，现在我们只差最后一步。当我们把所有数据放在一起，还是如上方有 m 个 4 维行向量形式的数据，我们将这些行向量数据堆叠在一起形成 m x 4的矩阵，经过多个矩阵的变换之后输出为一个 m x 2 的矩阵。这样，在计算过程中，全部为不同形状的矩阵。当然，大家也可以想想如果是列向量该是什么形式。
以上内容想说明的就是，无论是上方哪一种形式，都是正确的。关键看输入的数据是什么形式，形式决定了数据变换的顺序，以及设计矩阵的形状。
通过以上的形式，其实神经网络前向传导和向量在不同维度间的连续线性变换及其相似。唯一不同的一点就在于，在每次线性转换后，神经网络可以加一个非线性激活函数，使线性转换变为非线性转换。实际上，也就这么点区别。而非线性激活函数并不会改变数据的形状，对后续矩阵乘法不造成任何影响。
小结一下上面线性代数部分我们发现了什么：
线性代数中的向量默认形式是列向量。
矩阵的实质就是将坐标整体线性变换。
矩阵的组合以列向量组合在一起，其代表各自的基向量变换之后的新向量是什么。
矩阵与向量相乘，矩阵与矩阵相乘，顺序很重要，其决定权在于实际问题中样本的表达形式，是行向量还是列向量。
神经网络的前向传导与线性代数中连续对于向量的线性变换过程极其相似，只是在层与层之间多了非线性激活函数。
神经网络求的是什么？其实就是上方这么多矩阵中每一个位置的数字是多少？这就是我们最终的目的。那么如何求？这就需要微积分中链式法则的知识了。
囿于篇幅限制，微积分中链式法则的知识部分，请感兴趣的同学扫码入群，获取完整文章，免费阅读?
这部分作者会用尽量少的公式，记住极少的关键点，帮助大家去顺利的推导神经网络中运用到的链式推导。
总结
希望经过上述自己的梳理，大家对于神经网络中涉及到的数学知识有了更进一步形象化的了解。如果你也想加入人工智能浪潮，在职场中挖掘新的机会、成为顶尖技术人才，让来自硅谷的 Udacity 帮助你零基础成为深度学习高手！
硅谷前沿科技教育平台 Udacity 联手无人车之父 Sebastian Thrun、GANs 之父 Ian Goodfellow 和谷歌 Deepmind 科学家 Andrew Trask 等顶级专家，推出「深度学习基石纳米学位项目」！这门课将用充满活力的硅谷方式，通过充满互动的视频、独家实战项目和个性化学习辅导，带你由浅入深地探索这个领域。
毕业时，你将做好准备，在人工智能、无人驾驶等应用方向上大展拳脚。你还将获得 Udacity 的就业推荐服务，获得更多加入IBM、腾讯、滴滴出行等领先科技企业的机会！
Udacity 顶尖合作名企
Udacity “深度学习”基石纳米学位项目分为"第一学期”和“第二学期”两个学期的内容，你可以根据自己的能力进行选择。
▋ 第一学期：一站式掌握入门深度学习所需要的编程和数学基础。
编程方面你将掌握 Python 知识，熟悉Numpy。数学方面你将会掌握代数、偏导数和矩阵乘法（线性代数）等基础知识。
▋ 第二学期：快速入门深度学习领域，为成为百万年薪的人工智能工程师、无人车工程师、机器人工程师打下夯实基础。
你将学习来自 GANs 之父 Ian GoodFellow、硅谷技术达人 Siraj Raval 独家打造的精品内容，学习 TensorFlow 和 DNN、CNN、RNN等神经网络模型。
如何加入这么酷的课程？
扫描下方二维码，了解 深度学习基石纳米学位 详情：
课程将于 1月24日 正式开放报名！本期限定 350 席，长按扫描上方二维码，加入开课通知群。
＊ 获得来自硅谷的《深度学习终极就业指南》；
＊ 体验硅谷式的仿真课堂；
＊ 了解课程最新优惠价格；
＊ 抢先预定本期剩余席位；
＊ 解答任何课程相关疑问。
人工智能赛博物理操作系统
AI-CPS OS
“人工智能赛博物理操作系统”（新一代技术+商业操作系统“AI-CPS OS”：云计算+大数据+物联网+区块链+人工智能）分支用来的今天，企业领导者必须了解如何将“技术”全面渗入整个公司、产品等“商业”场景中，利用AI-CPS OS形成数字化+智能化力量，实现行业的重新布局、企业的重新构建和自我的焕然新生。
AI-CPS OS的真正价值并不来自构成技术或功能，而是要以一种传递独特竞争优势的方式将自动化+信息化、智造+产品+服务和数据+分析一体化，这种整合方式能够释放新的业务和运营模式。如果不能实现跨功能的更大规模融合，没有颠覆现状的意愿，这些将不可能实现。
领导者无法依靠某种单一战略方法来应对多维度的数字化变革。面对新一代技术+商业操作系统AI-CPS OS颠覆性的数字化+智能化力量，领导者必须在行业、企业与个人这三个层面都保持领先地位：
重新行业布局：你的世界观要怎样改变才算足够？你必须对行业典范进行怎样的反思？
重新构建企业：你的企业需要做出什么样的变化？你准备如何重新定义你的公司？
重新打造自己：你需要成为怎样的人？要重塑自己并在数字化+智能化时代保有领先地位，你必须如何去做？
AI-CPS OS是数字化智能化创新平台，设计思路是将大数据、物联网、区块链和人工智能等无缝整合在云端，可以帮助企业将创新成果融入自身业务体系，实现各个前沿技术在云端的优势协同。AI-CPS OS形成的数字化+智能化力量与行业、企业及个人三个层面的交叉，形成了领导力模式，使数字化融入到领导者所在企业与领导方式的核心位置：
精细：这种力量能够使人在更加真实、细致的层面观察与感知现实世界和数字化世界正在发生的一切，进而理解和更加精细地进行产品个性化控制、微观业务场景事件和结果控制。
智能：模型随着时间（数据）的变化而变化，整个系统就具备了智能（自学习）的能力。
高效：企业需要建立实时或者准实时的数据采集传输、模型预测和响应决策能力，这样智能就从批量性、阶段性的行为变成一个可以实时触达的行为。
不确定性：数字化变更颠覆和改变了领导者曾经仰仗的思维方式、结构和实践经验，其结果就是形成了复合不确定性这种颠覆性力量。主要的不确定性蕴含于三个领域：技术、文化、制度。
边界模糊：数字世界与现实世界的不断融合成CPS不仅让人们所知行业的核心产品、经济学定理和可能性都产生了变化，还模糊了不同行业间的界限。这种效应正在向生态系统、企业、客户、产品快速蔓延。
AI-CPS OS形成的数字化+智能化力量通过三个方式激发经济增长：
创造虚拟劳动力，承担需要适应性和敏捷性的复杂任务，即“智能自动化”，以区别于传统的自动化解决方案；
对现有劳动力和实物资产进行有利的补充和提升，提高资本效率；
人工智能的普及，将推动多行业的相关创新，开辟崭新的经济增长空间。
给决策制定者和商业领袖的建议：
超越自动化，开启新创新模式：利用具有自主学习和自我控制能力的动态机器智能，为企业创造新商机；
迎接新一代信息技术，迎接人工智能：无缝整合人类智慧与机器智能，重新
评估未来的知识和技能类型；
制定道德规范：切实为人工智能生态系统制定道德准则，并在智能机器的开
发过程中确定更加明晰的标准和最佳实践；
重视再分配效应：对人工智能可能带来的冲击做好准备，制定战略帮助面临
较高失业风险的人群；
开发数字化+智能化企业所需新能力：员工团队需要积极掌握判断、沟通及想象力和创造力等人类所特有的重要能力。对于中国企业来说，创造兼具包容性和多样性的文化也非常重要。
子曰：“君子和而不同，小人同而不和。” 《论语·子路》云计算、大数据、物联网、区块链和 人工智能，像君子一般融合，一起体现科技就是生产力。
如果说上一次哥伦布地理大发现，拓展的是人类的物理空间。那么这一次地理大发现，拓展的就是人们的数字空间。在数学空间，建立新的商业文明，从而发现新的创富模式，为人类社会带来新的财富空间。云计算，大数据、物联网和区块链，是进入这个数字空间的船，而人工智能就是那船上的帆，哥伦布之帆！
新一代技术+商业的人工智能赛博物理操作系统AI-CPS OS作为新一轮产业变革的核心驱动力，将进一步释放历次科技革命和产业变革积蓄的巨大能量，并创造新的强大引擎。重构生产、分配、交换、消费等经济活动各环节，形成从宏观到微观各领域的智能化新需求，催生新技术、新产品、新产业、新业态、新模式。引发经济结构重大变革，深刻改变人类生产生活方式和思维模式，实现社会生产力的整体跃升。
产业智能官 AI-CPS
用“人工智能赛博物理操作系统”（新一代技术+商业操作系统“AI-CPS OS”：云计算+大数据+物联网+区块链+人工智能），在场景中构建状态感知-实时分析-自主决策-精准执行-学习提升的认知计算和机器智能；实现产业转型升级、DT驱动业务、价值创新创造的产业互联生态链。
长按上方二维码关注微信公众号： AI-CPS，更多信息回复：
新技术：“云计算”、“大数据”、“物联网”、“区块链”、“人工智能”；新产业：“智能制造”、“智能农业”、“智能金融”、“智能零售”、“智能城市”、“智能驾驶”；新模式：“财富空间”、“数据科学家”、“赛博物理”、“供应链金融”。
官方网站：AI-CPS.NET
本文系“产业智能官”（公众号ID：AI-CPS）收集整理，转载请注明出处！
版权声明：由产业智能官（公众号ID：AI-CPS）推荐的文章，除非确实无法确认，我们都会注明作者和来源。部分文章推送时未能与原作者取得联系。若涉及版权问题，烦请原作者联系我们，与您共同协商解决。联系、投稿邮箱：erp_vip@hotmail.com
8924
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
