Tabular-LLM学习资源汇总 - 构建面向表格智能任务的大型语言模型

Tabular-LLM学习资源汇总 - 构建面向表格智能任务的大型语言模型

Tabular-LLM是一个旨在构建专门面向表格智能任务的大型语言模型的开源项目。如果您对"表格+LLM"感兴趣,这里为您汇总了一些相关的学习资源:

项目介绍

Tabular-LLM项目的主要目标是:

1. 广泛收集开源的表格智能任务数据集(如表格问答、表格-文本生成等)
2. 将原始任务数据整理为指令微调格式的数据
3. 基于整理好的数据微调LLM,增强其对表格数据的理解能力
4. 最终构建出专门面向表格智能任务的大型语言模型

该项目希望能助力开源社区复现并进一步增强类似ChatGPT的表格处理能力,同时为研究者构建特定领域的表格智能LLM提供更好的数据和模型基础。

项目地址

• GitHub: GitHub - SpursGoZmy/Tabular-LLM: 本项目旨在收集开源的表格智能任务数据集（比如表格问答、表格-文本生成等），将原始数据整理为指令微调格式的数据并微调LLM，进而增强LLM对于表格数据的理解，最终构建出专门面向表格智能任务的大型语言模型。
• Hugging Face: https://huggingface.co/datasets/QingyiSi/Alpaca-CoT/tree/main/Tabular-LLM-Data

主要内容

1. 探索不同类型表格的表示方法
2. 收集并整理涵盖多种类型表格、多种表格智能任务的数据
3. 开源表格智能LLM并进行测试分析

数据资源

项目整理了多个表格智能任务的数据集,包括:

• 表格问答: WikiTableQuestions, TabFact, HybridQA等
• 表格事实验证: TabFact, FEVEROUS等
• 表格-文本生成: ToTTo, Logic2Text等

所有数据集都被统一整理为指令微调格式,可直接用于LLM训练。

模型资源

基于整理的数据,项目提供了多个微调后的LoRA权重:

• saved-bloomz-7b-mt_TQA: 基于TQA数据微调的bloomz-7b-mt
• saved-llama-7b-hf_TQA: 基于TQA数据微调的llama-7b-hf

相关论文

项目还维护了一份"LLM+表格"相关论文列表: GitHub - SpursGoZmy/Awesome-Tabular-LLMs: We collect papers about "large language models (LLM) for table-related tasks", e.g., using LLM for Table QA task. “表格+LLM”相关论文整理

学习资料

1. 表格类型介绍
2. 表格表示方法讨论
3. 样本格式说明

Tabular-LLM项目为构建表格智能LLM提供了丰富的数据和基础模型资源。无论您是想了解表格智能任务,还是希望构建自己的表格LLM,都可以从该项目中获得有价值的参考。欢迎关注该项目的最新进展,共同推动表格智能LLM的发展!

文章链接：www.dongaigc.com/a/tabular-llm-learning-resources

https://www.dongaigc.com/a/tabular-llm-learning-resources