1.符号约束
- 网络层数 :记为L,等于隐藏层加输出层数的和。
- 节点数 :采用 n [ l ] n^{[l]} n[l]表示第l层的节点/单元数。
- 激活函数 :采用 a [ l ] = g [ l ] ( z [ l ] ) a^{[l]}=g^{[l]}(z^{[l]}) a[l]=g[l](z[l])表示第l层的激活函数值。
- 参数表示 :采用 W [ l ] W^{[l]} W[l]表示第l层参数,及求 Z [ l ] Z^{[l]} Z[l]时的权重矩阵,采用 b [ i ] b^{[i]} b[i]表示第i层参数 b b b。
- 样本:用右上角圆括号表示样本i,如: x ( i ) x^{(i)} x(i),则: a [ i ] ( j ) a^{[i](j)} a[i](j)表示第j个样本计算至网络第i层后的值, y ^ ( i ) \hat{y}^{(i)} y^