深度学习之TensorFlow（四）激活函数

框架

激活函数

目的：加入非线性元素，解决线性模型缺陷

1. ReLu

• 函数表达式：
  $$f(x)=max(x,0)=\{\begin{array}{l}0,x<=0\\ x,x>=0\end{array}$$
• 函数调用：
• tf.nn.relu(features,name=None)一般ReLU函数，$max(features,0)$;
• tf.nn.relu6(features,name=None)阈值为6的ReLU函数，$min(max(features,0),6)$;
  
  -舍弃了全部负值，在信号响应上具有一定优势，很容易使得模型输出全为0无法训练。

2. Sigmoid

• 函数表达式：
  $$f(x)=\frac{1}{1+e^{-x}}$$
• 函数调用：
• tf.nn.sigmoid(x,name=None)
  
• $x$趋近于无穷大，$y$值接近于1/-1，即为饱和。如果激活函数处于饱和态，意味着将数据的某些特性丢失。特别是当数据x>=6或x<=-6之后，数据变化不明显。较好效果是-3~3之间取值。

3. Tanh

• 函数表达式：
• $tanh(x)=2sigmoid(2x)-1$
  $$f(x)=\frac{1-e^{-2x}}{1+e^{-2x}}$$
• 函数调用：
• tf.nn.tanh(x,name=None)
  
• 和$sigmoid$函数一样，饱和问题较突出。

4. SoftPlus函数

• 该函数更加平滑，计算量较大，会保留小于0的少量值。
• $f(x)=ln(1+e^x)$
• 函数调用
• tf.nn.softplus(features,name=None)
  5.从ReLu函数而来的变种函数
• Noisy relus:为max的$x$增加了一个高斯分布的噪声
• $f(x)=max(0,x+Y),Y\in N(0,\sigma (x))$
• Leaky relus:在ReLU基础之上，保留部分负值，$x$为负之时，乘a(a<=1)，它是一定比例的缩小数据。
• $$f(x)=max(x,ax)=\{\begin{array}{l}x,x>0\\ ax,(otherwise)\end{array}\text{\hspace{1em}(1)}$$
• 组合函数调用：tf.maximum(x,leak*x,name=name)
• Elus:$x$小于0，复杂变换
• $$f(x)=\{\begin{array}{l}x,x>=0\\ a(e^x-1),(otherwise)\end{array}\text{\hspace{1em}(1)}$$
• 函数调用：
• tf.nn.elu(features,name=None)

5. Swish函数

• $f(x)=x\ast sigmoid(\beta x)$
• $\beta$是$x$的缩放参数，在使用BN算法的情况下，对$x$的缩放值进行调整。
• 手动封装：
• def Swish(x,beta=1): return x*tf.nn.sigmoid(x*beta)

NN复杂度

• 多用NN层数和NN参数的个数表示
• 层数：隐藏层层数+1个输出层
• 总参数：总W+总b

神经网络优化

• 损失函数（loss）：预测值（y）与已知值（y_）的差距
• NN优化目标：loss最小

1. 均方误差mse:$$MSE(y\_,y)=\frac{{\sum }_{i=1}^n(y-y\_{)}^2}{n}$$
   函数调用：loss_mse=tf.reduce_mean（tf.square(y_-y)）
2. 自定义(商品预测)
   $$loss(y\_,y)=\sum _{n}f(y\_,y)$$
   即：$$f(y\_,y)=\{\begin{array}{l}PROFIT\ast (y\_-y),y<y\_，损失利润\\ COST\ast (y-y\_),y>y\_，损失成本\end{array}$$
   函数调用：

# tf.where询问y,y_大小
loss=tf.reduce_sum(tf.where(tf.greater(y,y_),COST(y-y_),PROFIT(y_-y)))

3. ce(交叉熵)

• 表征两个概率分布之间 的距离
  $$H(y\_,y)=-\sum y\_\ast \log y$$
• 函数调用：

ce=tf.reduce_mean(y_*tf.log(tf.clip_by_value(y,1e-12,1.0)))

引入：softmax（）函数

• 当n分类的n个输出（y1,y2,…yn）通过softmax（）函数，满足概率分布要求：
• $$\forall x,P(X=x)\in [0,1]and\sum _{x}p(X=x)=1$$
• $$softmmax(y_i)=\frac{e^{y^i}}{{\sum }_{j=1}^n{e}^{y^i}}$$
• 函数调用：

ce=tf.nn.sparse_softmax_cross_entropy_with_logits(logits=y,labels=tf.argmax(y_,1))
cem=tf.reduce_mean(ce)