java二维矩阵怎么进行转置_向量、矩阵和张量的导数

最新推荐文章于 2024-08-19 13:47:42 发布
最新推荐文章于 2024-08-19 13:47:42 发布
阅读量686 收藏
点赞数
文章标签： java二维矩阵怎么进行转置 标量 向量 标量求导链式法则

3792700890b8c2a119a9c43ca393a632.png

原文： http://cs231n.stanford.edu/vecDerivs.pdf

本文让大家更好地学习使用向量、矩阵和高阶张量的求导。

1 简化，简化再简化

很多关于数组的求导的困惑来自于一次性想做太多事。这些事包括同时对多个部分求导，和式的求导，和应用链式法则。同时做这么多事情，至少在我们还没有足够熟练之前，那就很容易会出现错误。

1.1 对每个部分展开式子成显式求和及等式

为了简化一个给定的计算，通常将对于输出的一个简单的标量元素使用标量变量展开成显式公式。一旦我们对于输出的单个标量元素有了一个显式的用其他标量值表达的公式后，我们可以利用基本的微积分知识进行求导了，这里就避免将复杂的矩阵数学，求和及求导同时进行了。

例子. 假设我们有一个列向量

其长度为

1.2.1 雅克比（Jaccobian）矩阵

我们最初的愿望是计算

每个部分关于
的每个部分的导数，注意到会有
这么多对。他们可以被写成一个矩阵，形如：

这个矩阵被成为雅克比矩阵。

注意到对于等式：

，
关于
的偏导数就是
。如果你观察一些其他的部分，你也能发现，对于所有的
和
，
.

这意味着偏导数的矩阵为：

所以，其实就是

本身。

我们现在可以给出结论：对于

，我们有
.

2 行向量

在使用不同的神经网络库的时候需要慎重对待权重矩阵、数据矩阵等的排列。例如，如果一个数据矩阵

包含很多不同的向量，每个向量代表一个输入，要弄清楚每个数据向量是数据矩阵的行还是列。

在上节例子中，我们处理的向量

是列向量。然后，你可以使用类似的方法解决行向量情形的求导。

2.1 例2

令

为有
个元素构成的行向量，由另一个有
个元素的行向量
和
矩阵
相乘而得：

尽管两个向量的元素事相同的，但这里的矩阵则是前面例1的矩阵的转置。我们现在左乘

，所以必须转置才能匹配。

这里我们写成：

，因此：

这和上面的例子不同的就是坐标对换了。不过如果写出整个雅克比矩阵，我们仍然能得到：

.

3 处理超过二维的情形

现在我们来试试另一个相关的问题，计算：

这个例子中

沿着一个坐标轴变化，而
是两个坐标轴。所以，整个导数就会包含在三维数组中。我们不使用三维矩阵这样的说法，因为在其上并没有良好定义的矩阵乘法及其他运算。

处理三维数组，找到展示他们的方式可能会添上更多的麻烦而不是便利。所以，我们应该简单地定义结果作为公式，这个公式可以在我们想要针对目标三维数组计算结果时候直接使用。

让我们再来计算一个标量导数，

的一个元素
和
的一个元素
. 我们写下相应的计算式。用标量值来表示
，给出
在其中扮演的角色。

然而，我们在这个过程中看到

并没有什么作用，因为

换言之，

不过，

关于
的第三列元素的偏导数肯定是非零的。例如，
关于
的导数为
，这个从上面的展开式很容易得出。

一般情况下，当

组成部分的索引与
的第二个索引相同时，对应的导数将会非零，否则全为零。我们可以写成这样：
，其他三维数组的元素就是零。若令
为三维数组表示
关于
的导数，其中：
那么
其他
的项均为零。

最后，如果我们定义新的二维数组

为
，我们可以看到关于
所有需要的信息都已经存放在
中了，
的非平凡部分实际上就是二维的，而不是三维的。

将导数矩阵的重要部分以一种紧致的方式存放是神经网络高效实现中非常关键的。

4 多数据点

重复练习前面的例子，使用

多个样例形成一个矩阵
。让我们假设每个
是一个行向量，其长度为
，所以
就是
行
列的二维数组。
是
行
列的矩阵。
为
，形状为
行
列。所以
的每行将会给出一个关联于输入
对应行的行向量。

根据之前的经验，我们写下给定输出的表示，

.

我们可以轻易发现，在导数

中，除非
其他均为零。因为Y的每个组成部分仅使用
对应行进行计算得出，在
和
的不同行部分之间的导数都是零。

另外，我们发现

不依赖于我们在比对的
和
哪一行。

实际上，矩阵

包含了所有这些偏导数，我们仅仅需要记住根据上式进行索引，获得我们想要的指定偏导数。

如果我们令

为
的第
行，令
为
的第
行，那么我们有：
.

5 向量和矩阵中组合链式法则

我们已经解决了一些基本的例子，现在把这些想法组合上链式法则。假设

和
为列向量，让我们从下面的方程开始：
，目标是计算
关于
的导数。我们观察到
其实就是另一个矩阵，记作
，所以

不过，我们想要使用链式法则的过程来定义中间结果，所以我们可以看到如何在非标量导数中的应用。

我们定义中间结果

，于是就有
.

我们可以使用链式法则写成

.

但是，我们应该对右侧如何分解呢？我们使用链式法则的方法是将 y 的改变量关于每个标量中间变量，关于 x 的标量中间变量。特别地，如果

有
的部分，那么我们写成

回想一下我们前面的向量关于一个向量的导数求法：

就是
，而
就是
. 所以我们可以写成

这其实就是

的组成表达式，我们最初的答案。

总结一下，我们可以在向量和矩阵的导数计算中使用链式法则

  1. 清晰地陈述中间结果和用来表达他们的变量
  2. 对最终导数的单独的组成部分表达链式法则
  3. 对在链式法则中的中间结果合理地求和
weixin_39690391
关注
矩阵运算_SLAM中用到的矩阵计算_基本公式及知识汇总
惊鸿一博
03-02 1645
1. 矩阵转置相关 设A和B为两个mxn的矩阵，为一个常数，则： 2. TODO 参考 6.5 矩阵的运算及其运算规则
两矩阵相乘的秩的性质_矩阵分析与应用（一，矩阵基础知识）
weixin_39546501的博客
10-19 1万+
前言：花了一个半月时间学习了 北大丘维声的《高等代数》、北理史荣昌的《矩阵分析》、清华张贤达的《矩阵分析与应用》；北大与哈工大的网课。本质：（万物皆矩阵）矩阵论主要研究矩阵，对于图像、神经网络等可表示成矩阵形式，然后结果矩阵的处理方法，对其进行操作，例如分解，基本运算等。一、矩阵（矩阵表示单个事物）1.1矩阵的基本运算基本运算：加法；数乘；矩阵乘法；转置；內积；外积拓展运算：直和；Hadamard...
线性代数相关知识
yleave的博客
10-23 1247
文章目录线性（向量）空间基本知识向量向量点乘叉乘矩阵变换缩放位移旋转矩阵的组合仿射变换概念数学表达仿射变换理解平移变换反射变换旋转变换 线性（向量）空间基本知识 １）线性空间 ：   n 维有序数组组成的向量的全体集合构成的空间称为 n 维向量空间，也即 n 维线性空间。 ２）线性相关与线性无关：   在ｎ维线性空间中的ｎ个ｎ维向量中，若存在１个向量，可以由其它ｎ－ｌ个ｎ维向量线性表示，则称这ｎ个ｎ维向量是线性相关的。此时，ｎ个ｎ维向量组成的矩阵的秩小于ｎ。   若不存在可以被其他ｎ－１个向量线性表示的向量
2020牛客国庆集训派对day2 F-SUM OF SUB RECTANGLE AREAS
狙击美佐的博客
10-02 841
2020牛客国庆集训派对day2 F-SUM OF SUB RECTANGLE AREAS 数学推导+大数相乘题意思路Code() 传送门：https://ac.nowcoder.com/acm/contest/7818/F 题意 给一个N*N的矩阵，每一位上都是1，求所有子矩阵的权值之和。 思路 设n=3；设n = 3；设n=3； 考虑子矩阵大小为i∗ji * ji∗j的个数xxx，即该大小的所有子矩阵的权值为x∗i∗jx* i * jx∗i∗j。 1∗21 * 21∗2子矩阵:每行个数为222
一般矩阵乘法
perfectzxiny的博客
10-03 689
** 矩阵乘法 ** 矩阵相乘最重要的方法是一般矩阵乘积。它只有在第一个矩阵的列数（column）和第二个矩阵的行数（row）相同时才有意义 。一般单指矩阵乘积时，指的便是一般矩阵乘积。一个m×n的矩阵就是m×n个数排成m行n列的一个数阵。由于它把许多数据紧凑地集中到了一起，所以有时候可以简便地表示一些复杂的模型，如电力系统网络模型。 运算方法： 注意事项 1、当矩阵A的列数（column）等于矩阵B的行数（row）时，A与B可以相乘。 2、矩阵C的行数等于矩阵A的行数，C的列数等于B的列数。 3、乘积C
python解zuobiaoxi方程_矩阵的特征分解（推导+手算+python计算+对称矩阵的特征分解性质）...
weixin_39737224的博客
11-20 628
1. 前言最近几天一直在学习矩阵的知识，恶补了特征分解和SVD算法，发现网上很多资料都是不全的，所以想记录一下这里面的特征分解推导过程。要学会矩阵的特征分解，可以提前看矩阵的一些基础知识： https://blog.csdn.net/qq_30232405/article/details/1045882932.矩阵的进阶知识2.1 特征分解（谱分解）=>只可以用在方阵上2.1.1 特征分解...
线性代数之向量、矩阵、行列式、列向量的计算
平原的博客
06-11 1万+
向量、矩阵、行列式、列向量的计算 标签（空格分隔）： 线性代数 1、向量与实数的的乘法： 2∗[23]=[46]2∗[23]=[46] 2*\left[ \begin{matrix} 2 \\ 3 \end{matrix} \right] =\left[ \begin{matrix} 4 \\ 6 \end{matrix} \rig...
二元函数对xy同时求导_让向量、矩阵和张量的求导更简洁些吧
weixin_39791349的博客
10-23 1300
本文是我在阅读Erik Learned-Miller的《Vector, Matrix, and Tensor Derivatives》时的记录，点此下载。本文的主要内容是帮助你学习如何进行向量、矩阵以及高阶张量（三维及以上的数组）的求导。并一步步引导你来进行向量、矩阵和张量的求导。1 简化、简化，还是简化（重要的事情说三遍）在求解涉及到数组的导数时，大部分的困难是因为试图一次性做太多事情。比如说...
矩阵向量求导
04-08
在现代机器学习领域，矩阵和向量求导技术是不可或缺的基础工具之一。本文旨在为希望快速掌握矩阵和向量求导法则的学习者提供指导，尤其适用于那些希望在机器学习中应用这些技术的人。不同于传统的数学教材，本文更...
矩阵论（八）：矩阵微分与矩阵求导
niu_123ming的博客
02-20 6574
广义逆矩阵 做机器学习的几乎避免不了矩阵求导，尤其是神经网络方面的，反向传播算法说白了就是在做矩阵求导，拿到代价函数对模型中每个参数矩阵的导数，才能找到一个下降方向，进而更新这些参数来降低损失。虽然实际编程时大可不必考虑这些繁琐的数学计算，但是要真正理解凸优化中的一些方法，掌握这个基本的数学工具还是有必要的。 【注1】下面的探讨均在实数域内进行。 【注2】虽然RnR^nRn定义为实数域RRR中的...
两个向量相乘公式是什么
我终于懂了（没懂）博客
09-01 5172
https://baike.baidu.com/item/%E5%90%91%E9%87%8F%E7%A7%AF/4601007
【线性代数】几种行/列向量相乘的情况讨论
JiexianYao的博客
08-19 902
向量相乘情况讨论
07-行向量列向量_向量的运算 加法，数乘，减法，转置
d8958的博客
07-30 5764
07-行向量列向量_向量的运算 加法，数乘，减法，转置
二维矩阵乘法、矩阵转置、 矩阵与向量乘法（java实现）
m0_49047994的博客
07-02 1926
二维矩阵乘法、矩阵转置、 矩阵与向量乘法（java实现） 相关代码如下： package algorithms; //矩阵库 public class Matrisx { /** *向量点相乘 double dot(double[] x, double[] y) *矩阵与矩阵之积 double[][] mult(double[][] a,double[][]b) *矩阵转置 double[][] transpose(double[][] a) * 向量和矩阵之积 double[] mult(
3、向量运算
bmo113089的博客
10-12 273
等于它们的分量分别相加，显然两个向量的长度得是相等的，减法我们在这里不列举，很容易举一反三。​​。
张量学习（7）：张量乘积
热门推荐
keith的博客
11-21 4万+
向量的外积、张量内积、张量积(直积)、Kronecker乘积、Hadamard乘积、Khatri-Rao乘积、张量乘法（张量内积和张量乘以矩阵）
两向量点乘坐标运算_基础篇4:张量的运算及矢量梯度、张量散度
weixin_30696755的博客
01-02 5584
在前面介绍的矢量运算和张量表达法的基础上，本文将主要介绍CFD中与张量相关的运算。从本文开始，如无特别说明，提到张量时均指的是二阶张量。矢量的并矢积两个矢量的并矢积可以写作 或 ，它是将两个矢量的各个方向进行并置，从而得到一个二阶张量： 也可以将并矢积看作是一个列向量与一个行向量相乘所得的矩阵： 根据这一运算规则，我们可以得到矢量的梯度，其结果是一个张量： 张量的运算张量的运算与矩阵运算具有...
视觉SLAM理论与实践第四节课习题
qq_40247880的博客
09-14 613
4 矩阵微分 (2 分，约 1.5 小时) 在优化中经常会遇到矩阵微分的问题。例如，当⾃变量为向量 x，求标量函数 u(x) 对 x 的导数时，即 为矩阵微分。通常线性代数教材不会深⼊探讨此事，这往往是矩阵论的内容。我在 ppt/⽬录下为你准备了 ⼀份清华研究⽣课的矩阵论课件（仅矩阵微分部分）。阅读此 ppt，回答下列问题： 设变量为 x∈RN，那么： 1. 矩阵 A∈RN×N，那么 d(Ax)/dx 是什么1？ 2. 矩阵 A∈RN×N，那么 d(xTAx)/dx 是什么？ 3. 证明： xATx = t
矩阵乘法的四种理解方式
lijiankou的专栏
07-11 9217
先介绍向量的两种运算，一个行向量乘以一个列向量称作向量的内积，又叫作点积，结果是一个数； 一个列向量乘以一个行向量称作向量的外积，外积是一种特殊的克罗内克积，结果是一个矩阵， 假设和b分别是一个行向量和一个列向量，那么内积、外积分别记作和。 注意：外积在不同的地方定义方式不太一样，这里不详细讨论 定义了内积和外积以后，我们讨论矩阵的乘法。矩阵是由向量组成
java二维数组矩阵转置,有输入
最新发布
09-15
在Java中，将一个二维数组（矩阵）转置，意味着将它的行列互换。也就是说，矩阵的第i行第j列的元素，在转置后的矩阵中，将变成第j行第i列的元素。以下是一个简单的示例代码，展示了如何实现这个操作： ```java public class MatrixTranspose { public static void main(String[] args) { int[][] matrix = { {1, 2, 3}, {4, 5, 6}, {7, 8, 9} }; System.out.println("原始矩阵："); printMatrix(matrix); int[][] transposedMatrix = transpose(matrix); System.out.println("转置后的矩阵："); printMatrix(transposedMatrix); } public static int[][] transpose(int[][] matrix) { int rows = matrix.length; // 原矩阵的行数 int cols = matrix[0].length; // 原矩阵的列数 int[][] transposed = new int[cols][rows]; // 新矩阵的行列互换 for (int i = 0; i < rows; i++) { for (int j = 0; j < cols; j++) { transposed[j][i] = matrix[i][j]; } } return transposed; } // 辅助函数：打印矩阵 public static void printMatrix(int[][] matrix) { for (int[] row : matrix) { for (int val : row) { System.out.print(val + " "); } System.out.println(); } } } ``` 在上述代码中，`transpose`方法接受一个二维数组`matrix`作为输入，创建一个新的二维数组`transposed`，其行列与原矩阵互换。然后通过双层循环遍历原矩阵，并将每个元素按照转置后的行列位置放入新矩阵中。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值