NUS：LLM表格数据建模综述

📖标题：Language Modeling on Tabular Data: A Survey of Foundations, Techniques and Evolution
🌐来源：arXiv, 2408.10548

摘要

🔸表格数据是一种跨领域的流行数据类型，由于其异构性和复杂的结构关系，带来了独特的挑战。在表格数据分析中实现高预测性能和鲁棒性对许多应用程序具有重大前景。受自然语言处理，特别是转换器架构的最新进展的影响，出现了表格数据建模的新方法。
🔸早期的技术集中在从头开始对变压器进行预训练，经常遇到可扩展性问题。随后，开发了利用BERT等预训练语言模型的方法，这些方法需要更少的数据并提高了性能。最近出现的大型语言模型，如GPT和LLaMA，进一步彻底改变了该领域，以最小的微调促进了更先进和多样化的应用程序。尽管人们的兴趣日益浓厚，但仍然缺乏对表格数据语言建模技术的全面调查。
🔸本文通过系统回顾表格数据语言建模的发展来填补这一空白，包括：（1）不同表格数据结构和数据类型的分类；（2） 对模型训练中使用的关键数据集和用于评估的任务进行审查；（3） 建模技术概述，包括广泛采用的数据处理方法、流行的架构和培训目标；（4） 从适应传统的预训练/预训练语言