TensorFlow笔记之神经网络优化——损失函数

1. 神经元模型：用数学公式表示为, f 为激活函数。神经网络是以神经元为基本单位构成的。
2. 激活函数：引入非线性激活函数，提高模型的表达力。
   常用的激活函数有relu、sigmoid、tanh等。
   ① relu：在TensorFlow中，用tf.nn.relu()表示

       
   ② sigmoid：在TensorFlow中，用tf.nn.sigmoid()表示
       
   ③ tanh：在TensorFlow中，用tf.nn.tanh()表示
      

3. 损失函数：用来表示预测值（y）与已知答案（y_）的差距。在训练神经网络是，通过不断改变神经网络中所有参数，使损失函数不断减小，从而训练出更高的准确率的神经网络模型。常用的损失函数有均方误差、自定义和交叉熵等。
   ① 均方误差mse：预测值y与已知答案y_之差的平方和，再求平均值。在TensorFlow中，用loss_mes = tf.reduce_mean(tf.square(y_-y))
   例如：
          预测酸奶日销量y，x1和x2是影响日销量的两个因素。
          应以前采取的数据有：一段时间内，每日的x1因素、x2因素和销量y_。采集的数据尽量多。
          在本例中，销量预测产