Keras深度学习框架基础第二讲：层接口(layers API)“层激活函数”

1、激活函数的使用方法

激活函数（Activations）的使用有两种方式：一种是通过激活层（Activation layer）来使用，另一种是通过所有前向传播层（forward layers）所支持的activation参数来使用。

Activation layer：在神经网络中，激活层是一个独立的层，它不包含权重或偏置项，只是简单地对其输入应用激活函数。当你想要明确地在一个特定位置插入一个激活函数时，可以使用激活层。
activation argument：许多神经网络库（如TensorFlow、Keras等）允许你在定义层（如Dense层、Conv2D层等）时通过activation参数直接指定激活函数。这样做的好处是代码更加简洁，不需要显式地添加激活层。

model.add(layers.Dense(64, activation=activations.relu))

代码也可以编写为如下的式样

from keras import layers
from keras import activations

model.add(layers.Dense(64))
model.add(layers.Activation(activations.relu))

2、激活函数详解

2.1 relu函数

keras.activations.relu(x, negative_slope=0.0, max_value=None, threshold=0.0)

该函数应用了修正线性单元（Rectified Linear Unit，简称ReLU）激活函数。

在默认参数下，这将返回标准的ReLU激活函数：max(x, 0)，这是输入张量和0的元素级最大值。

修改默认参数允许您使用非零阈值、改变激活的最大值，以及对于低于阈值的值使用输入的非零倍数。

>>> x = [-10, -5, 0.0, 5, 10]
>>> keras.activations.relu(x)
[ 0.,  0.,  0.,  5.,