成本和性能（Cost/performance）

机器学习计算块（ML Computation block）

1. regression和SVM：MAC（Multiply-And-Accumulate）
2. Full connected Neural Network
3. 深度和卷积神经网络（Deep and Convolutional Neural network）
4. 矢量和矩阵乘积是机器学习的主力军（workhorse）

full connected Neural Network的矩阵乘积（Matrix product）

y = g(w x + b) 其中有一个向量乘积（vector product）（wx）和一个非线性操作函数g（），
训练期间，推理（inference）和反向传播（backpropagation）在每个训练数据重复一次。
矩阵乘法是训练（一个前向一个反向）和评估（evaluation）期间最后的操作。
我们用小批量完成这些操作可以节省存储空间使用率（memory usage）。

整个过程包含三个参数：输入激活，权重，输出激活
out = g(weights * in + bias)

通常情况下，非线性是矩阵乘积融合而成的。
我们接下来观察二维卷积层

下面是多通道二维卷积层的原理图：

加入小批量之后的示意图：

步伐和填充（strides and padding）
实际上卷积可能存在非单位的步伐（stride）