深入理解ReLU函数（ReLU函数的可解释性）

本篇博文主要来源于对文章 Unwrapping The Black Box of Deep ReLU Networks: Interpretability, Diagnostics, and Simplification 的学习，同时还有部分内容摘自wiki百科。

---

什么是ReLU函数？

ReLU，全称为：Rectified Linear Unit，是一种人工神经网络中常用的激活函数，通常意义下，其指代数学中的斜坡函数，即
$$f(x)=\max (0,x)$$
对应的函数图像如下所示：

而在神经网络中，ReLU函数作为神经元的激活函数，为神经元在线性变换 w T x + b \mathbf {w} ^{T}\mathbf {x} +b