- 博客(2)
- 收藏
- 关注
RSS订阅原创 Benchmarking the Text-to-SQL Capability of Large Language Models: A Comprehensive Evaluation阅读笔记
通过将生成的 SQL 语句转换回文本并将它们与原始用户问题的语义并列，我们可以评估生成的 SQL 语句的准确性。它涉及将问题中的实体引用与相应的模式表或列对齐，要求模型理解数据库的结构和值，以及用户问题的语义。结果错误分类：表查询错误(多余，缺少，错误)，列选择错误（多余，缺少，错误），连接列错误（涉及join的错误），条件过滤错误，数据处理错误。随着用户查询中涉及的表和列数量的增加，LLM 的 Text-to-SQL 挑战显着升级。生成的SQL错误分两种：语法错误，结果错误。
2024-07-04 16:53:59
651
原创 A Survey on Knowledge Distillation of Large Language Models阅读笔记
本文是一篇关于大语言模型（LLM）中知识蒸馏(KD)的文献综述KD成为LLM中压缩模型以及模型的自我提升的重要方法；调查结构：围绕算法，技能和垂直化三个支柱调查了数据增强 (DA)如何在KD中提升LLM性能；目的：本文概述KD当前方法，为未来指明研究方向传统KD： 在深度学习中，将知识从更大更复杂网络转移到更浅更高效的网络。可以在实际应用中减轻对计算资源的需求。llm中的KD：焦点从单纯的架构压缩转移到更细微的知识提取和转移。
2024-07-01 10:43:57
1041
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人