慢速ddos
我最近在波鸿鲁尔大学开始了机器学习的博士学位研究。 我加入的小组的主要研究主题之一是慢特征分析(SFA)。 要了解一个新主题,我喜欢看示例和直观的解释,如果可能的话,然后将自己沉浸在数学上的严格要求下。 我为其他喜欢以类似方式接触学科的人写了这篇博客文章,因为我相信SFA既强大又有趣。
在本文中,我将以应用SFA的代码示例为指导,以帮助激发该方法。 然后,我将详细介绍该方法背后的数学原理,最后提供指向该材料上其他良好资源的链接。
1.确定一个平滑的潜在变量
SFA是一种无监督的学习方法,可以从时间序列中提取最平滑(最慢)的基础功能或特征 。 这可以用于降维,回归和分类。 例如,我们可以有一个高度不稳定的级数,该级数由更好的具有潜伏性的变量确定。
让我们开始生成时间序列D和S:
![](https://i-blog.csdnimg.cn/blog_migrate/f8c269a0d1e5ea6641e854ea0b591c49.png)
这称为后勤图。 通过绘制序列S ,我们可以检查其混沌性质。 驱动上述曲线行为的基本时间序列D简单得多:
![](https://i-blog.csdnimg.cn/blog_migrate/0f3bb7006cbc11982c332b520610dd85.png)
我们如何从不稳定的时间序列中确定简单的基础驱动力?
我们可以使用SFA来确定功能最缓慢变化的功能。 在我们的例子中,我们将以S之类的数据开始,以D结束,而不必事先知道S是如何生成的。
SFA的实现旨在寻找线性输入的特征。 但是从示例中我们可以看到,驱动力D是高度非线性的! 这可以通过首先对时间序列S进行非线性扩展,然后找到扩展数据的线性特征来解决。 通过这样做,我们找到了原始数据的非线性特征。
让我们通过在上面堆叠S的延时副本来创建一个新的多元时间序列:
![](https://i-blog.csdnimg.cn/blog_migrate/21b72b78d518f27ee8df8a381828353d.png)
接下来,我们对数据进行三次扩展并提取SFA特征。 立方膨胀变成一个4维向量[A,B,C,d]ᵀ与元件t³,t²v,电大,吨 ²,电视,t代表不同T,U,V∈{A,B的34元素矢量,c,d}。
请记住,每个问题要添加的最佳时间延迟副本数有所不同。 或者,如果原始数据的维数过高,则需要进行降维,例如,使用主成分分析 。
因此,将以下内容视为该方法的超参数:维数展开(缩小)方法,展开后的输出尺寸(缩小)和要发现的慢特征数量。
现在,在添加延时拷贝后,时间序列的长度从300更改为297。因此,慢特征时间序列的相应长度也为297。 为了在此更好地可视化,我们通过在第一个值之前添加最后一个值两次来将其长度更改为300。 SFA发现的特征的均值和单位方差为零,因此我们在可视化结果之前也将D归一化。
即使仅考虑300个数据点,SFA功能也几乎可以完全恢复基础源-令人印象深刻!
![](https://i-blog.csdnimg.cn/blog_migrate/54365f24d92b5a92ee3fe5864bd49410.png)
2.那到底是怎么回事?
从理论上讲,SFA算法接受一个(多元)时间序列X和一个整数m来表示输入,该整数m指示要从该序列中提取的特征数量,其中m小于时间序列的维数。 该算法确定m个函数
![](https://i-blog.csdnimg.cn/blog_migrate/1030490254ffef442838dfe18ace9092.png)
这样使得每个y 1的两个连续时间点的平方时间导数的平均值最小。 直观地,我们希望最大化功能的慢度:
![](https://i-blog.csdnimg.cn/blog_migrate/c891ca1e893400522628f41fb857dbd6.png)
其中的点表示时间导数,在离散情况下:
![](https://i-blog.csdnimg.cn/blog_migrate/1caf5209cdd62e444de8597941eaa18e.png)
目标函数(1)测量特征的慢度。 零均值约束(2)使特征的第二矩和方差相等,并简化了表示法。 单位方差约束(3)丢弃常数解。
最终约束(4)对我们的特征进行解相关,并诱导其慢度排序。 这意味着我们首先找到最慢的特征,然后找到与它之前的那个正交的下一个最慢的特征,依此类推。 对功能进行解相关可确保我们捕获最多的信息。
在下文中,我浏览了重要的细节并跳过了步骤,但是为了完整起见,我想将其包括在内。 我建议也查看下面的链接以获取更详尽的解释。
让我们只考虑线性特征:
![](https://i-blog.csdnimg.cn/blog_migrate/d34ed5f2b1beac5e6016f52a55b2619f.png)
时间序列X可以是“原始数据”或其非线性扩展,请参见上面的示例。 请记住,即使这些是扩展数据的线性特征,它们仍然可以是原始数据的非线性特征。
假设均值X为零,则通过求解广义特征值问题 AW = BWΛ找到线性特征。 我们确定米特征值-特征向量的元组(λᵢ,Wᵢ),使得A =Wᵢλᵢ 乙 Wᵢ,在那里我们有
![](https://i-blog.csdnimg.cn/blog_migrate/3e74162534559040acd2aee13ae845d0.png)
标量λᵢ表示特征的慢度,即λᵢ越小 ,相应y varying的变化就越慢。 如果您熟悉广义特征值问题,请注意此处的特征值在增加,而不会减少。 最后,特征向量Wᵢ是定义我们学习特征的变换向量。
3.进一步阅读
原始论文: https : //www.ini.rub.de/PEOPLE/wiskott/Reprints/WiskottSejnowski-2002-NeurComp-LearningInvariances.pdf
SFA在分类中的应用: http : //cogprints.org/4104/1/Berkes2005a-preprint.pdf
上面的示例改编自: http : //mdp-toolkit.sourceforge.net/examples/logmap/logmap.html
翻译自: https://hackernoon.com/a-brief-introduction-to-slow-feature-analysis-18c901bc2a58
慢速ddos