矩阵乘法
1.矩阵内积:
矩阵内积又称为向量内积/点积/数量积,这是最常见的一种矩阵乘法.
两个矩阵A、B的矩阵内积对应分量乘积之和,结果为一个数,即一个标量,记作<A,B>。
2.矩阵外积
矩阵外积又称为或向量外积/叉积/向量积,即克罗内克积:
克罗内克积 是两个任意大小的矩阵间的运算,结果是一个矩阵如果A是一个m×n的矩阵,而B是一个p×q的矩阵,克罗内克积则是一个mp×nq的分块矩阵。克罗内克积符号为:
⊗
\otimes
⊗
3.哈达玛积(Hadamard product)
哈达玛积的乘法符号为
∘
\circ
∘
激活函数
1.Sigmoid
2.Tanh
t a n h ( x ) = s i n h ( x ) c o s h ( x ) = e x − e − x e x + e − x tanh(x)=\frac{sinh(x)}{cosh(x)}=\frac{e^x-e^{-x}}{e^x+e^{-x}} tanh(x)=cosh(x)sinh(x)=ex+e−xex−e−x
3.ReLU
R
e
L
U
(
x
)
=
m
a
x
{
0
,
x
}
ReLU(x)=max\{0,x\}
ReLU(x)=max{0,x}
4.LeakyReLU
L
e
a
k
y
R
e
l
u
(
x
)
=
m
a
x
(
0
,
x
)
+
l
e
a
k
∗
m
i
n
(
0
,
x
)
LeakyRelu(x)= max(0, x) + leak*min(0,x)
LeakyRelu(x)=max(0,x)+leak∗min(0,x) (
l
e
a
k
leak
leak是一个很小的常数,这样保留了一些负轴的值,使得负轴的信息不会全部丢失)
5.GELU
GELU(Gaussian error linear unit),即高斯误差线性单元,可以看作dropout的思想和relu的结合,据报道GELU在多项计算机视觉, 自然语言处理,语音任务上效果优于ReLU。