shapelet论文相关

标题：ShapeNet: A Shapelet-Neural Network Approach forMultivariate Time Series Classification（AAAI2021）
中文：ShapeNet：一款非常棒的时序分类最新NN框架
参考csdn：ShapeNet: A Shapelet-Neural Network Approach forMultivariate Time Series Classification（AAAI2021）_西西弗的小蚂蚁的博客-CSDN博客

问题：多变量时间序列分类（MTSC）的候选shapelets可能来自不同长度的不同变量，无法直接进行比较。
创新点：
①提出了一种新的用于MTSC的shapelet神经网络方法——ShapeNet。
②使用Mdc CNN将不同长度的时间序列子序列学习到统一的空间中，（过程：采用扩张的因果卷积神经网络（Dc CNN）学习时间序列子序列的新表示，引入一个全局最大池化层和一个线性层，叠加在最后一个DcCNN层之上，将所有shapelet候选对象嵌入到统一空间用来处理各种长度的输入，
③并提出一种基于聚类的triplet损失以无监督的方式训练网络。（具体过程：提出了一个以多个正样本和负样本以及正(负)样本之间的距离作为输入的簇级三组损失函数使得相同样本之间距离最小，不同样本之间距离最大。
下式的第一个分量是候选簇的大小。一个大的集群意味着它代表许多候选者。第二个分量是与其他地区候选人的距离。距离大说明候选人和其他人不一样。

采用MST来获得时间序列的MST表示。在变换后，我们使用带线性核的支持向量机进行分类。这样就可以观察到shapelets的权重来进行分类。
未来的工作：我们计划研究缺失值的MTS，这对现实世界的数据集是一个挑战
总结：这篇论文从学习shaplets的方法实现多元时间序列分类任务，主要基于embedding的方式学习到shapelets， 这点在学习shapelets方面具有创新点。在KDD2014年的shapelets学习论文中是基于传统机器学习的方法，采用优化方式学习到shapelets,但是这种学习方法是基于单元时间序列地，其次在2019年的ICDE 上提到学习shapelets，它主要采用传统的基于符号特征的方式 PAA/SAX-based的方式，相当于词表示的方式。但是这种方式也是针对单元时间序列的。该作者在TKDE2021上提出基于shapelets的单元时间序列分类算法。
总之：创新点1）在多元时间序列shapelets学习场景中，2）考虑了一种三元组损失的方式
补充：Embedding 是一个将离散变量转为连续向量表示的一个方式。可以减少离散变量的空间维数，同时还可以有意义的表示该变量。Embedding 最酷的一个地方在于它们可以用来可视化出表示的数据的相关性，当然要我们能够观察，需要通过降维技术来达到 2 维或 3 维。最流行的降维技术是：t-Distributed Stochastic Neighbor Embedding (TSNE)。

标题：TapNet: Multivariate Time Series Classification with Attentional Prototypical Network（Xuchao Zhang, Yifeng Gao, Jessica Lin, Chang-Tien Lu2020）
中文：TapNet：具有注意原型网络的多元时间序列分类
参考csdn： TapNet: Multivariate Time SeriesClassification with Attentional Prototypical Network（AAAI2020）_西西弗的小蚂蚁的博客-CSDN博客
摘要：提出了一种新的MTSC模型，该模型具有注意原型网络，以吸收传统方法和基于深度学习的方法的优点，称为时间序列注意原型网络（TapNet）。TapNet能够在几乎没有领域知识的情况下从多元时间序列中提取低维特征，并处理标记数据的不足。
问题：传统的基于模式袋或时间序列Shapelet的时间序列分类方法难以处理高维多元数据中生成的大量特征候选，但即使在训练集很小的情况下也具有良好的性能。相比之下，基于深度学习的方法可以有效地学习低维特征，但缺少标记数据。基于深度学习的方法通过使用大规模标记数据训练卷积或递归网络来学习潜在特征。对于时间序列分类，半监督方法近年来得到了广泛的应用。然而，关于半监督时间序列分类工作的大多数现有工作侧重于单变量时间序列。
创新点：
TapNet主要由三部分组成:随机维度排列（模拟多元维度之间的交互特征）、多元时间序列编码（学习低维时间序列嵌入）和注意原型学习（类原型是同一类中训练样本的加权组合，其中训练样本的权重由注意层训练。）

① 设计了一种结合多层卷积网络的随机分组排列方法，将时间序列的维数重建为组，然后再进行卷积层，从多元时间序列数据中学习低维特征（潜在特征）。
② 为了解决训练标签有限的问题，通过训练基于距离的损失函数，我们提出了一种新的注意力原型网络来训练特征表示，根据每个时间序列到由少量标记样本学习的类原型的距离来训练低维特征表示。
③ 我们利用未标记的数据将模型扩展到其半监督设置。
4.4部分以后没好好看
未来的工作：我们计划
总结：在文中提出了一种新的基于距离的深度学习框架，称为TapNet，用于多变量时间序列分类问题。特别是，我们提出了一种新的注意原型网络，用于根据低维特征表示与类原型的距离来训练低维特征表示，并且训练标签有限。此外，设计了一种随机群置换方法，用于结合多层卷积网络学习多元维度中的交互特征。此外，我们提出了一种半监督模型半TapNet，在训练样本不足时利用未标记数据提高分类性能。
补充：

Shapelet : 一种象形化的时间序列特征提取方法 - 知乎 (zhihu.com)
标题：Logical-Shapelets: An Expressive Primitive for Time Series Classification（Abdullah Mueen、Eamonn Keogh、Neal Young2011）
中文：逻辑形状元素：时间序列分类的表达原语
参考csdn：无
问题：shapelet两个局限性：①它们的表达能力仅限于简单的二进制存在/不存在问题。②即使形状元素是离线计算的，计算它们所花费的时间也很长。
创新点：
① 首次展示了一种增强的shapelet表示，该表示基于shapelet的连接或析取来区分数据。我们将这种新的表示称为逻辑单元（LogicalShapelets）
② 引入了两种新技术来加速搜索形状元素：候选剪枝和有效距离计算。预计算了足够的统计数据，以计算在摊余恒定时间内形状元素和时间序列子序列之间的距离（即相似性）。本质上，我们用时间换取空间，发现所需空间的微小增加可以帮助我们大大减少所需时间。（当我们需要子序列之间所有可能的成对距离时，就像我们在查找shapelet时所做的那样，花费二次空间可以节省整整一个数量级的计算时间。）其次，我们使用一种新的允许剪枝技术来跳过对绝大多数候选形状元素的熵（即优度测度）的昂贵计算。两类。将类的所有次要点转移到其主要分区会单调地增加信息增益，因此，这可以被视为原子操作。我们将这种移位序列表示为“转移”。

（a）序列S1及其顺序行。（b） 序列S1和S2之间的距离是R.（c）序线上的点在[τ− R、 τ+R]被转移到它们的多数划分。（d） （S1，τ）的信息增益和（S2，τ）的上界的计算。
③

总结：在本文中，我们介绍了逻辑shapelets：一种比经典shapelets更具表达性的新的时间序列分类原语。我们已经证明了时间序列数据集中逻辑概念的存在，以及逻辑形状元素在手势识别、机器人技术和用户身份验证等领域的效用。我们进一步描述了有效查找经典和逻辑形状元素的新技术。对于我们测试的24个数据集中的每一个，我们的方法都要快得多。
补充：支持包含代码、数据、excel表和幻灯片的网页。http://www.cs.ucr.edu/∼mueen/LogicalShapelet

标题： Fast Shapelets: A Scalable Algorithm for Discovering Time Series Shapelets （Thanawin Rakthanmanon and Eamonn Keogh2013）
中文：快速 shapelets：一种用于发现时间序列 shapelets 的可扩展算法
参考csdn：无

问题：当前的文献抱怨shapelet发现是一项耗时的任务
创新点：
① 提出通过改变表示来解决shapelet发现问题。特别是，我们将原始实值和高维数据转换为离散和低维表示。使用符号聚合近似（SAX）[14][28]将时间序列转换为符号表示。（创建了数据的SAX表示后，可以在SAX空间中对Shapelet进行蛮力搜索。这种情况会出现假解集问题，即两个仅相差一个小ε的时间序列可能会产生两个不同的SAX单词。利用随机投影将所有高维SAX单词投影到一个较小的维度。随机投影思想的两个潜在问题：不能确定单个投影是否对我们有帮助，如果掩盖了太多的位置，那么减少误报的可能性是以误报爆炸为代价的，所有这些都必须得到检查。解决思路：保守地进行掩码，但进行多个随机掩码，我们可以使误判的概率任意低，同时不会导致误报的显著增加）
未来的工作：希望扩大Shapelet可以应用的问题范围。
总结：提出了一种shapelet发现算法，该算法比当前最先进的算法快三个数量级，但精度没有显著差异。
补充：重读A Fast Shapelet Discovery Algorithm_Based on Important Data Points（一） - 知乎 (zhihu.com)
源码：Supporting Webpage: www.cs.ucr.edu/~rakthant/FastShapelet

算法解读：该过程分为两个阶段。在第一阶段（第3-10行），在SAX空间中搜索后选择潜在子序列（第12-23行）；在第二阶段，我们在原始数据空间中测量这些潜在候选的质量，并返回最佳候选作为最终形状元素。
为了选择候选项，使用滑动窗口技术创建所有时间序列中长度len的所有子序列，并创建其相应的SAX字，并将其保留在SAXSList中（第3行/图5，左）。在创建SAX单词列表后，我们使用这些离散表示法通过创建每个SAX单词的哈希签名来对RandProjection（）进行哈希，并根据每个SAX单词的签名对其进行计数。然后，我们更新多次迭代的总分（第7行/图6）。接下来，给每个SAX单词打分，以显示每个单词在每个对象中出现的次数。然后，我们计算每个SAX字的区分能力，并选取得分最高的前k个子序列（第9行/图7）。我们将这些SAX字重新映射回其原始数据子序列（第10行）。注意，这里有两个参数，算法对它们不敏感，固定为r=10和k=10。（r：随机迭代次数k：SAX候选数）入第二阶段（第12-23行）；我们计算前k个列表中每个候选对象的信息增益，并选择最佳的一个作为shapelet。更具体地说，每个候选人一次考虑一个（第13行）。循环体使用定义5中的等式计算候选子序列和每个时间序列之间的距离。这些计算（第17-21行）之后，我们选择具有最高信息增益的子序列作为最终形状元素，通过最大间隙打破联系（如果有）（参见定义9）。
关于SAX
SAX将一段长度为n的时间序列X转换为一段任意时间长度的字符串。这个算法包括两个步骤：(1)、将原始时间序列数据转换为PAA特征表示。(2)、将PAA数据转换为字符串。
参考文献：Experiencing SAX: a novel symbolic representation of time series csdn：SAX（Symbolic Aggregate Approximation ）：时间序列的符号化表示（附Python3代码，包括距离计算）_水木小僧的博客-CSDN博客_时间序列符号表示

标题：Classification of time series by shapelet transformation（J Hills、J Lines、E Baranauskas、J Mapp2014）
中文：通过 shapelet 变换对时间序列进行分类
参考csdn：无

问题：对 shapelets 的详尽搜索非常耗时，因此，大多数 shapelet 研究都集中在加速搜索 He 等人的技术上。这使得对 shapelets 的搜索更容易处理，但并未解决如何最好地使用 shapelets 解决 TSC 问题的基本问题。
创新点：
① 我们提出了一种单扫描算法，可以在一组n个时间序列中找到最佳的k个形状元素。我们使用该算法生成转换后的数据集，得到的k个距离用于形成变换数据的新实例，其中每个属性对应于shapelet和原始时间序列之间的距离。因此，第j条记录的第i个属性的值是第j条记录和第i个shapelet之间的距离。这种方法的主要优点是，我们可以将转换后的数据与任何分类器结合使用，并且不必在每个节点上顺序搜索形状元素。
② 提出了一种对相似 shapelet 进行分组的变换后聚类程序。对形状元素进行聚类的主要好处是提高了可解释性。变换后对形状元素进行分层聚类。创建一个距离图，表示每对形状元素之间的形状元素距离。对于k个shapelet，这是一个k×k矩阵，其对角线周围具有反射对称性（由零组成）。对它们之间具有最小shapelet距离的配对进行聚类，并更新k− 1×k− 1创建距离图，删除簇对并添加簇。重复该过程，直到形成用户指定数量的集群。我们计算两个簇（Ci和Cj）之间的shapelet距离，作为Ci的每个成员和Cj的每个成员之间的shapelet距离的平均值。评估了与我们的算法一起使用的三种替代质量度量。
③ shapelet转换过程分为三个不同的阶段：a).该算法对数据进行单次扫描，以提取最佳的k个形状元素,k是要存储的最大形状元素数的截止值。b).可以通过忽略截止点以下的形状元素（例如，将256个形状元素的集合减少到10个形状元素）或通过对形状元素进行聚类来减少k个形状元素的集合（参见第4.4节）。c).创建一个新的转换数据集，其中每个属性表示一个shapelet，属性的值是shapelet和原始序列之间的距离。
未来的工作：
总结： 研究了shapelet的质量度量，并提出了一种shapelet变换算法。
我们以Y e和Keogh（2011）的风格训练shapelet决策树分类器，用这些统计代替信息，证明了Kruskal-Wallis、F-统计和MM统计作为shapelet发现质量度量的有效性, F统计量在设计为shapelets最优的合成数据上更为精确，是总体排名最高的度量。我们认为，它应该是未来使用shapelet变换数据的默认选择度量。提出了一种用于时间序列分类的shapelet变换算法，该算法使用缓存算法在一次传递中从数据集中提取k-最佳shapelet，并允许对shapelet进行聚类以增强可解释性。

补充：Shapelet发现有三个主要部分：候选生成、Shapelet和时间序列之间的相似性度量以及Shapelet质量的一些度量。三种加速技术：早弃shapelet S和序列Ti的距离计算，序列之间距离统计的预计算，shapelet的早弃。我们研究了三种可选的量化方法，它们可以通过距离DS列表来划分类。Kruskal-Wallis：（KW）是一种非参数测试，用于测试两个样本是否来自具有相同中值的分布。检验统计量是类内秩和全局平均秩之间的平方加权差。方差分析F-统计量：（F-stat）用于检验一组C样本之间均值差异的假设。零假设是每个样本的总体平均值相同。该假设的检验统计量是组间变异性与组内变异性的比率。值越高，组间可变性与组内可变性相比越大。高质量的shapelet可以产生高F-stat。情绪中值：（MM）是一种非参数测试，用于确定两个样本的中值是否来自相同的分布。MM不需要对D进行排序。
局限性：首先，shapelet变换并非对所有问题都是最优的，其次，虽然变换平均比shapelet决策树快，但找到最佳shapelet的速度很慢。最后，我们执行的后聚类提高了可懂度，但也引入了删除重要判别特征的风险，并在转换中引入了进一步的参数。

标题：Learning time-series shapelets（Josif Grabocka,Nicolas Schilling, Martin Wistuba, Lars Schmidt-Thieme2014）
中文：学习时间序列shapelets
参考csdn：无
问题：
创新点：
① 从学习形状元素的角度提出了一种新的观点。提出了一种通过分类目标函数对任务进行新的数学形式化，并应用了定制的随机梯度学习算法。（过程：开始先预估一个最优 Shapelets，再通过最小化分类损失函数，迭代学习并优化形状，使用梯度下降法更新 Shapelets，最终得到关键有效的多个 Shapelets．所提出的方法可以直接学习接近最优的 shapelets，而无需尝试大量候选者。
② 优化学习算法过程：第一部分预先计算了形状元素梯度中经常使用的项，例如ξ、D、ψ、ϑ。预计算加快了学习时间，避免了重复计算相同的项。第二部分使用定义的梯度和预计算项更新权重和形状元素。
未来的工作：本文中的方法依赖于比基线更多的超参数，例如学习率η、迭代次数、正则化参数λW和软最小精度α。
总结：shapelet变换方法为标准分类器构造了定性预测因子，并且最近在预测精度方面取得了改进。首次提出了shapelet学习任务的数学公式，作为分类目标函数的优化。此外，还提出了一种学习（而不是搜索）优化目标函数的形状元素的学习方法，该算法通过探索shapelet交互来学习接近最优的shapelet。原理可以总结为两个步骤：（i）从对形状元素的粗略初始猜测开始，（ii）通过最小化分类损失函数迭代学习/优化形状元素 。为了进行shapelet优化，我们定义了一种新的分类模型，该模型相对于shapelet是可微的。因此，通过采取步骤使分类损失函数最小（即最大预测精度），可以以随机梯度下降优化方式更新形状元素，该方法一次修复一个实例引起的分类错误。
补充：在导出了形状元素和权重的梯度之后，我们可以介绍整体学习算法。我们的方法在一系列时间段内迭代，并根据每个训练实例的分类目标，在导数的负方向上更新形状元素和权重的值。