基于细颗粒度注意力，层次 Transformer 在表格时序的应用

作者：老余捞鱼

原创不易，转载请标明出处及原作者。

写在前面的话：
       本文介绍了表格时间序列数据在多个实际应用中的重要性，并提出了一种名为 Fieldy 的新型细粒度层次化模型，该模型通过在行和列级别上对字段进行上下文化，以捕捉字段间的复杂关系。通过与现有最先进模型在回归和分类任务上的比较，展示了 Fieldy 在性能上的提升。

1. 引言 (Introduction)

       顺序表格数据在工业中应用广泛，如银行数据库中的金融交易记录、医院存储的医疗记录或 CRM 系统中的客户购买历史。表格时间序列数据与传统多变量时间序列数据存在不同之处，特别是表格时间序列数据中记录跨越多行且包含时间相关字段。此外，文章还涉及了变换器架构在表格数据处理中的应用，以及这些架构如何通过注意力机制学习时间步骤之间的关系模式，从而在表格数据建模中提取有意义的模式。

2. 相关工作 (Related Work)

​​​​​​​       文章首先关注标准表格数据的深度学习方法，然后转向表格时间序列的特殊案例。以表格1为例，展示了如何将表格时间序列视为具有时间依赖性的记录集合，这些记录可以被机器学习模型作为输入。