高维张量运算应用—卷积层的反向求导
一般形式的张量
所谓张量,不考虑物理意义,仅在形式上来看,是一个n阶的量 a i 1 i 2 i 3 . . . i n a_{i_1i_2i_3...i_n} ai1i2i3...in,张量积有以下特殊形式:
n=0时是标量。
n=1时是向量(矢量)。
n=2时是矩阵。
n更高时是高维张量。
在tensorflow中可以用tensor定义张量。
一般形式的张量积
以下用I,J,K表示下标集合(可以为空), i i i, j j j, k k k 为下标。
关于张量积, c I K = a I J b J K c_{IK}=a_{IJ}b_{JK} cIK=aIJbJK,表示 c I K = Σ J a I J b J K c_{IK}=\Sigma_{J}a_{IJ}b_{JK} cIK=ΣJaIJbJK,张量积有以下特殊形式:
c = a i b i c=a_ib_i c=aibi,对应向量点积 c = a T b c=a^Tb c=aTb
c I = a I b I c_I=a_Ib_I cI=aIbI,对应张量的按元素积 c = a