矩阵乘法
1.矩阵内积：
矩阵内积又称为向量内积/点积/数量积，这是最常见的一种矩阵乘法.
两个矩阵A、B的矩阵内积对应分量乘积之和，结果为一个数，即一个标量，记作<A,B>。
2.矩阵外积
矩阵外积又称为或向量外积/叉积/向量积，即克罗内克积：
克罗内克积 是两个任意大小的矩阵间的运算，结果是一个矩阵如果A是一个m×n的矩阵，而B是一个p×q的矩阵，克罗内克积则是一个mp×nq的分块矩阵。克罗内克积符号为：
⊗
\otimes
⊗
3.哈达玛积(Hadamard product)
哈达玛积的乘法符号为
∘
\circ
∘
激活函数
1.Sigmoid
2.Tanh
t a n h ( x ) = s i n h ( x ) c o s h ( x ) = e x − e − x e x + e − x tanh(x)=\frac{sinh(x)}{cosh(x)}=\frac{e^x-e^{-x}}{e^x+e^{-x}} tanh(x)=cosh(x)sinh(x)=ex+e−xex−e−x
3.ReLU
R
e
L
U
(
x
)
=
m
a
x
{
0
,
x
}
ReLU(x)=max\{0,x\}
ReLU(x)=max{0,x}
4.LeakyReLU
L
e
a
k
y
R
e
l
u
(
x
)
=
m
a
x
(
0
,
x
)
+
l
e
a
k
∗
m
i
n
(
0
,
x
)
LeakyRelu(x)= max(0, x) + leak*min(0,x)
LeakyRelu(x)=max(0,x)+leak∗min(0,x) （
l
e
a
k
leak
leak是一个很小的常数，这样保留了一些负轴的值，使得负轴的信息不会全部丢失）
5.GELU
GELU(Gaussian error linear unit)，即高斯误差线性单元，可以看作dropout的思想和relu的结合，据报道GELU在多项计算机视觉， 自然语言处理，语音任务上效果优于ReLU。
2887
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
