Tensorflow学习之神经网络优化

一、损失函数

神经元模型：用数学公式表示为：，f为激活函数，神经网络是以神经元为基本单元构成的。

激活函数：引入非线性激活因素，提高模型的表达力

常用的激活函数有relu、sigmoid、tanh等。

神经网络的复杂度：可用神经网络的层数和神经网络中待优化的参数个数来表示

神经网络的层数：一般不计入输入层，层数= n 个隐藏层 + 1 个输出层

神经网络待优化参数：神经网络中所有参数 w 的个数 + 所有参数 b 的个数

损失函数（loss）：用来表示预测值（y）与已知答案（y_）的差距。在训练神经网络时，通过不断改变神经网络中的所有参数，使损失函数不断减小，从而训练出更高准确率的神经网络模型。

常用的损失函数有均方误差、自定义和交叉熵等

由代码及其结果可以看出，本例中神经网络预测模型为 y = w1*x1 + w2*x2，损失函数采用均方误差。通过损失函数值（loss）不断降低，神经网络模型得到最终参数 w1 = 0.98, w2 = 1.02，销量预测结果为 y = 0.98*x1 + 1.02*x2。由于在生成数据集时，标准答案为y = x1 + x2，因此销量预测结果和标准答案非常接近，说明该神经网络预测酸奶日销量正常。

自定义损失函数：根据问题的实际情况，定制合理的损失函数。

这段代码只是在上段代码中间改动了损失函数的定义方法，得出来的最终参数为 w1=1.02，w2=1.04，销量预测结果为 y=1.02*x1+1.04*x2。由此可见，采用自定义损失函数预测的结果大于采用均方误差预测的结果，更符合实际需求。如果