Tensorflow详解（五）

激活函数(Activation Function)：——实现去线性化

1. nn.relu(features,name)

2. nn.relu6(features,name)

3. nn.softplus(features,name)

4. nn.droupt(x,keep_prob,noise_shape,seed,name)

5. nn.bias_add(value,bias,name)

6. nn.sigmoid(x,name)

7. nn.tanh(x,name)

损失函数（Loss Function）/代价函数（Cost Function）：

1.交叉熵损失函数

1.1 描述概率分布（一）softmax回归——nn.softmax(logits,dim,name)

                           （二） sigmoid函数——对二分类问题是一个天然比较好的函数，但会在输入值非常小/非常大时产生饱和，                                               这两种情况下函数的梯度值非常小，基于梯度的优化比较困难，所以，一般在通过sigmoid函数得

                                        到概率值之后还要对这个概率值求解释然函数，通过最大释然的方法训练sigmoid分类器                                                           

1.2 Tensorflow没有封装单独的交叉熵计算函数——cross_entropy=-tf.reduce_mean(y_*tf.log(tf.clip_by_value(y,1e-10,1.0)))

    但提供了对计算softmax回归和交叉熵的统一封装

   nn.softmax_cross_entropy_with_logits(_sentinel,labels,logits,dim,name)

   nn.sparse_softmax_cross_entropy_with_logits(_sentinel,labels,logits,name)#更适合于只有一个正确答案的分类问题

2.均方差损失函数——经常用于回归问题，此时网络只需要一个输出节点

3.自定义损失函数