基于C#的机器学习--微基准测试和激活功能

本章我们将学习以下内容:

l  什么是微基准测试

l  如何将它应用到代码中

l  什么是激活函数

l  如何绘制和基准测试激活函数

每个开发人员都需要有一个好的基准测试工具。质量基准无处不在;你们每天都能听到，这个减少了10%那个增加了25%还记得那句老话吗，当你听到一个数字被抛出时，98.4%的情况下这个数字是假的。顺便说一下，这个数字也是我编的。当你听到这样的话，让那个人证明一下，你会得到什么?我们不需要定性的结果;我们需要能够被证明和持续复制的量化结果。可重复的结果是非常重要的，不仅对一致性，而且对可信度和准确性。这就是微基准测试发挥作用的地方。

我们将使用BenchmarkDotNet库，您可以在这里找到:https://github.com/dotnet/BenchmarkDotNet。我认为它是您可以使用的最不可替代的框架之一，我认为它的重要性不亚于单元测试和集成测试

为了展示这个工具的价值，我们将绘制几个激活函数并比较它们的运行时。作为其中的一部分，我们将考虑预热、遗留和RyuJIT、冷启动以及程序执行的更多方面。最后，我们会得到一组定量的结果来证明函数的精确度量。如果在2.0版本中，我们看到某些东西运行得比较慢，我们可以重新运行基准并进行比较。

我强烈建议将其集成到您的持续集成/持续构建过程中，以便在每个版本中都可以比较基准数据。

在本章中，我们将有两个样本。第一个是激活函数查看器;它将绘制每个激活函数，以便我们可以看到它的外观。可以在Colin Green的SharpNEAT中找到它，它是开源的。这个包绝对是不可思议的。我在它的基础上创建了新的ui以及高级版本来满足我的需求，它是目前能找到的最灵活的工具。第一个示例应用程序带有最新的SharpNEAT包，可以在https://github.com/colgreen/sharpneat找到它。

使用视觉绘图方法

下面是一个局部和全局最小值的图，它是由SharpNEAT的自定义版本绘制的。

如前所述，我们将绘制并测试几个激活函数。我们到处都听到激活函数这个词，但我们真的知道它的意思吗?让我们从一个快速的解释开始。

一个激活函数用来决定一个神经元是否被激活。有些人喜欢用fired来代替activated。不管怎样，它最终决定了某个东西是开还是关，是被触发还是没有，是被激活还是没有。

.让我们首先看一个单个激活函数的图:

这是逻辑陡峭近似和Swish激活函数单独绘制时的样子，因为有很多类型的激活函数，这是我们所有的激活函数一起绘制时的样子:

在这一点上，你可能会想，我们为什么还要关心情节是什么样的呢?好问题。我们关心这些，因为一旦你进入神经网络或其他领域，你会经常用到这些。这是非常方便的，能够知道你的激活函数是否将你的神经元的值在开或关的状态，以及它将保持或