1.矩阵相乘神经网络
参考:
https://blog.csdn.net/machinerandy/article/details/79632748#commentBox
但对上文中最后一句“并且对于最终全连接的单输出节点 YY 得到的结果也由 Y1×10→Y10×1Y1×10→Y10×1。 ”,持保留意见。
tensorflow中,使用的代码是output = tf.matmul(inputs,W) + b,对应的公式是y = X*W + b。
输入变量X的shape是[样本数,单个样本的特征数]。特征数也是输入层神经元的个数。第(1,2)层(第1层指输入层,第2层指第一个hidden层)的W的shape是[第1层神经元个数,第2层神经元个数]。b的shape是[第2层神经元个数]。(b是加在第2层神经元上的偏置,是一维向量)。
所以第(i,i+1)层,输入的shape是[样本数,第i层的神经元的个数],W的shape是[第i层神经元个数,第i+1层神经元个数],b的shape是[第i+1层神经元个数],输出的shape是[样本数,第i+1层神经元个数]。
输入数据 [samples,输入特征数]
W [输入特征数,输出特征数]
b [输出特征数]
输出数据 [samples,