论文目录3：大模型时代（2023+）

1 instruction tuning & in context learning

论文名称	来源	主要内容
Finetuned Language Models Are Zero-Shot Learners	2021	机器学习笔记：李宏毅ChatGPT Finetune VS Prompt_UQI-LIUWJ的博客-CSDN博客 早期做instruction tuning的work
MetaICL: Learning to Learn In Context	2021	机器学习笔记：李宏毅ChatGPT Finetune VS Prompt_UQI-LIUWJ的博客-CSDN博客 in-context learning都是没有finetune过程，这里相当于finetune了一下
Rethinking the Role of Demonstrations: What  Makes In-Context Learning Work?	2023	机器学习笔记：李宏毅ChatGPT Finetune VS Prompt_UQI-LIUWJ的博客-CSDN博客 在in-context learning的时候，故意给一些错误的例子、其他领域的返利，看看大模型的效果 ——>这篇论文的结论是，in-context learning只起到“唤醒”的作用，LLM本身就具备了所需要的功能。这里给LLM范例的作用只是提示LLM要做这个任务了
Larger language models do in-context learning differently	2023	机器学习笔记：李宏毅ChatGPT Finetune VS Prompt_UQI-LIUWJ的博客-CSDN博客 在更大的LLM中，in context learning 确实也起到了让模型学习的作用

2 Chain of Thought

论文名称	来源	主要内容
Chain-of-Thought Prompting Elicits Reasoning in Large Language Models	2022	如果是数学这种需要推理的问题，直接给 in-context learning 往往效果若不好 而如果我们给范例的时候，同时给推导过程+答案。期望模型输出答案的时候，也先输出推导，再输出答案 这就叫Chain of Thought Prompting 机器学习笔记：李宏毅ChatGPT Finetune VS Prompt_UQI-LIUWJ的博客-CSDN博客
Large Language Models are Zero-Shot Reasoners	2022	在进行CoT的时候，范例输完了，需要模型回答的问题说完了，加一行’Let's think step by step'，可以获得更好的效果 机器学习笔记：李宏毅ChatGPT Finetune VS Prompt_UQI-LIUWJ的博客-CSDN博客

3 others

论文略读：Onthe Expressivity Role of LayerNorm in Transformers’ Attention-CSDN博客	ACL 2023	LayerNorm为Transformer的Attention提供了两个重要的功能： 投影，projection scaling 缩放
论文笔记：Frozen Language Model Helps ECG Zero-Shot Learning_冻结语言模型帮助心电图零样本学习-CSDN博客	2023 MIDL	利用临床报告来引导ECG数据的预训练，实现ECG数据的零样本学习
Is ChatGPT A Good Translator? A Preliminary Study	2023	专项翻译任务上，ChatGPT不如一些专门做翻译的模型
论文笔记：Evaluating the Performance of Large Language Models on GAOKAO Benchmark-CSDN博客		测评gpt在高考各科（文理）上得分的异同
How Good Are GPT Models at  Machine Translation? A  Comprehensive Evaluation	2023	专项翻译任务上，ChatGPT不如一些专门做翻译的模型
论文笔记：Can Large Language Models Beat Wall Street? Unveiling the Potential of AI in Stock Selection-CSDN博客	202401 arxiv	提出了 MarketSenseAI，整合了多种数据来源，包括实时市场动态、财经新闻、公司基本面和宏观经济指标，利用GPT-4生成全面的投资建议
论文笔记：Lost in the Middle: How Language Models Use Long Contexts_lost in the middle人工智能-CSDN博客	Transactions of the Association for Computational Linguistics  2024	在处理需要识别相关上下文的信息的任务（文档问答、键值对索引）时，大模型对相关信息的位置很敏感 当相关的信息在输入prompt的开头或者结尾时，能够取得较好的效果 而当相关的信息在prompt中间部分时，性能会显著下降。
论文笔记：FROZEN TRANSFORMERS IN LANGUAGE MODELSARE EFFECTIVE VISUAL ENCODER LAYERS-CSDN博客	iclr 2024 spotlight  reviewer 评分 6668
ReLU Strikes Back: Exploiting Activation Sparsity in Large Language Models-CSDN博客	iclr 2024 oral reviewer 评分 688	目前LLM社区中通常使用GELU和SiLU来作为替代激活函数，它们在某些情况下可以提高LLM的预测准确率 但从节省模型计算量的角度考虑，论文认为经典的ReLU函数对模型收敛和性能的影响可以忽略不计，同时可以显着减少计算和权重IO量\
论文笔记：The Reversal Curse: LLMs trained on “A is B” fail to learn “B is A”-CSDN博客	iclr 2024 reviewer 评分668	论文揭示了自回归大模型（LLM）中令人惊讶的泛化失败【反转诅咒】 如果模型在“A is B”形式的句子上进行训练，它不会自动泛化到相反的方向“B is A”
论文笔记：The Expressive Power of Transformers with Chain of Thought-CSDN博客	ICLR 2024 reviewer 评分 6888	论文描述在生成答案前采取中间步骤的Transformer解码器的推理能力，并将其与没有中间步骤的Transformer进行比较 提供了Transformer能力的上限和下限，取决于t(n)：允许的中间步骤数量作为输入大小n的函数。 主要关注三种情况： 对数步骤（当t(n) = Θ(log n)） 线性步骤（当t(n) = Θ(n)） 和多项式步骤
论文笔记：BooookScore: A systematic exploration of book-length summarization in the era of LLMs-CSDN博客	iclr oral reviewer 评分 88810	论文通过两种提示工作流程首次展示了基于LLM的书籍长度总结器 （1）层次性合并块级总结 （2）逐步更新运行中的总结 由于人类评估昂贵且耗时，论文开发了一种自动度量标准，BooookScore，用于测量总结中不包含任何已识别错误类型的句子的比例
论文略读：LLMCarbon: Modeling the End-to-End Carbon Footprint of Large Language Models-CSDN博客	iclr 2024 oral reviewer 评分 556810	论文提出了一个端到端的碳足迹预测模型LLMCarbon 可以准确预测密集型和MoE LLMs在其训练、推理、实验和存储阶段的碳足迹
论文略读：Memorization Capacity of Multi-Head Attention in Transformers-CSDN博客	iclr spotlight reviewer评分 6888	论文研究了一个具有H个头的单层多头注意力（MHA）模块的记忆容量
论文笔记：Does Writing with Language Models Reduce Content Diversity?-CSDN博客	iclr 2024 reviewer评分 566	同质化：使用LLM写作的用户彼此写得是否更相似？ 使用InstructGPT的组在同质化程度上高于控制组和GPT3组 通过将模型贡献的文本与每篇文章的总结要点匹配，我们发现InstructGPT贡献的要点导致了同质化增加 多样性：与LLM一起写作是否降低了一组用户产生的内容的多样性？ 与InstructGPT一起写的文章集合显示出较低的词汇多样性，并且表达的关键点的多样性也降低

4 大模型+时间序列

论文名称	来源	主要内容
论文笔记： One Fits All:Power General Time Series Analysis by Pretrained LM_UQI-LIUWJ的博客-CSDN博客	2023 neurips	GPT2的Transformer 冻结自注意力层+FFN层 微调位置嵌入和Layer Norm 使用Patching的方式将时间序列分块，以进行tokenize 证明了预训练模型中的Transformer有类似于PCA的非特定数据集相关能力
论文笔记：How Can Large Language Models Understand Spatial-Temporal Data?-CSDN博客	arxiv 202401
论文笔记：Large Language Models Are Zero-Shot Time Series Forecasters-CSDN博客	2023 neurips
论文笔记；LargeST: A Benchmark Dataset for Large-ScaleTraffic Forecasting-CSDN博客	2023 neurips	提出了一个新的基准数据集LargeST 广泛的图大小，包括加利福尼亚州的8,600个传感器 丰富的时间覆盖和丰富的节点信息——每个传感器包含5年的数据和全面的元数据
论文笔记：PromptCast: A New Prompt-based Learning Paradigm for Time Series Forecasting-CSDN博客	TKDE 2023\
论文笔记：TEST: Text Prototype Aligned Embedding to ActivateLLM’s Ability for Time Series_UQI-LIUWJ的博客-CSDN博客	2023	对比学习学习时间序列token的embedding，然后将时间序列token的embedding和文本token的embedding进行对齐，并利用soft prompting进行后续大模型训练
论文笔记：TimeGPT-1-CSDN博客		时间序列的第一个基础大模型
论文笔记：Spatial-Temporal Large Language Model for Traffic Prediction-CSDN博客	arxiv 2024 时空+大模型	论文笔记：Spatial-Temporal Large Language Model for Traffic Prediction-CSDN博客
论文笔记：LSTPrompt: Large Language Models as Zero-Shot Time Series Forecastersby Long-Short-Term Prompt-CSDN博客	202402	只使用prompt 进行时间序列预测的论文
论文笔记：Time-LLM: Time Series Forecasting by Reprogramming Large Language Models-CSDN博客 论文辅助笔记：TimeLLM-CSDN博客	iclr 2024 reviewer 评分 3888
论文笔记：TEMPO: Prompt-based Generative Pre-trained Transformer for Time Series Forecasting-CSDN博客 论文辅助笔记：TEMPO 之 utils.py-CSDN博客 论文辅助笔记：TEMPO之feature.py-CSDN博客 论文辅助笔记：TEMPO 之 dataset.py-CSDN博客 论文辅助笔记：Temop之modules/utils.py-CSDN博客 论文辅助笔记：Tempo 之 model.py-CSDN博客 论文辅助笔记：Tempo之modules/lora.py-CSDN博客 论文辅助笔记：Tempo之modules/prompt.py-CSDN博客	iclr 2024 reviewer评分 568
论文笔记：UrbanGPT: Spatio-Temporal Large Language Models-CSDN博客

5 mobility+大模型

论文笔记：Leveraging Language Foundation Models for Human Mobility Forecasting-CSDN博客
论文笔记 Where Would I Go Next? Large Language Models as Human Mobility Predictor-CSDN博客 论文辅助笔记：LLM-Mob metric测量-CSDN博客 论文辅助笔记：LLM-MOB代码解读-CSDN博客	202308 提出了一个名为LLM-Mob的框架 将流动性数据组织成历史停留和上下文停留，以解释人们移动中的长期和短期依赖性 利用目标停留的时间信息进行时间感知预测 设计了有效的prompt策略来帮助LLM理解流动性数据，最大化它们的推理能力，使预测结果的解释成为可能。
论文笔记 Exploring Large Language Models forHuman Mobility Prediction under Public Events-CSDN博客	202311  使用两种类型的数据：过去的事件描述和人类移动流 引入了一个基于LLMs的公共事件下人类移动性预测框架（LLM-MPE）
论文笔记：Large Language Models as Urban Residents:An LLM Agent Framework for Personal Mobility Generati-CSDN博客	LLM+轨迹生成 li'yong 大模型（不train直接使用），得到用户在某一天的pattern（通用mobility）和motivation（短期的mobility），生成相应的轨迹
论文笔记：Beyond Imitation: Generating Human Mobility fromContext-aware Reasoning with Large Language Mo-CSDN博客	202402  利用LLMs的推理能力，提出了一种新颖的以推理为基础的流动性生成（MobiGeaR）框架 通过将流动性生成问题重新表述为一个常识推理问题，取代了经典深度学习模型的行为分布模仿框架 通过递归提示LLM生成下一个访问位置 通过考虑个体的人口统计特征、当前位置和时间来推理合理的行为
论文笔记：Large Language Models as Urban Residents:An LLM Agent Framework for Personal Mobility Generati-CSDN博客	202402
论文笔记：Deep Learning for Trajectory Data Management and Mining: A Survey and Beyond-CSDN博客
论文笔记：Large Language Model for Participatory Urban Planning-CSDN博客

6 prompt

论文笔记：Prompting Large Language Models with Divide-and-Conquer Program forDiscerning Problem Solving-CSDN博客	对于涉及重复子任务 / 含有欺骗性内容的任务（如段落级别长度的虚假新闻检测），对输入进行拆分可以提升模型对于错误信息的分辨能力 有一定的理论证明 arxiv 202402
论文笔记：TALK LIKE A GRAPH: ENCODING GRAPHS FORLARGE LANGUAGE MODELS-CSDN博客	ICLR 2024，reviewer评分 6666 对用于LLMs的图结构提示技术进行了广泛研究 为将图编码为文本以供LLMs使用提供了见解和最佳实践 为社区研究LLMs效果提供了新的图基准（GraphQA）
论文笔记：ChatEval: Towards Better LLM-based Evaluators through Multi-Agent Debate-CSDN博客	ICLR 2024 最终评分 55666 论文采用了多agent辩论框架 利用它们各自的能力和专业知识来提高处理复杂任务的效率和效果 构建了一个名为ChatEval的多agent裁判团队，允许每个agent使用不同的沟通策略进行协作讨论，以制定最终判断
论文笔记：Chain-of-Table:EVOLVING TABLES IN THE REASONING CHAIN FOR TABLE UNDERSTANDING-CSDN博客	ICLR 2024 reviewer评分 5566 提出了CHAIN-OF-TABLE，按步骤进行推理，将逐步表格操作形成一系列表格 定义了一组表格操作，例如添加列、选择行、分组等 提示LLMs进行逐步推理。
论文笔记：Take a Step Back：Evoking Reasoning via Abstraction in Large Language Models-CSDN博客	ICLR 2024 reviewer 打分 888 在进行prompt的时候，先后退一步，从更宏观的角度来看问题，让LLM对问题有一个整体的理解；然后再回到detail上，让模型回答更具体的问题
论文笔记：Can LLMs Express Their Uncertainty? An Empirical Evaluation of Confidence Elicitation in LLMs-CSDN博客	不需要微调来激发LLMs置信度表达的方法
论文笔记：Teaching Large Language Models to Self-Debug-CSDN博客	ICLR 2024 REVIEWER打分 6666 提出了一种名为 Self-Debugging 的方法，通过执行生成的代码并基于代码和执行结果生成反馈信息，来引导模型进行调试
论文笔记：Large Language Models as Analogical Reasoners-CSDN博客	iclr 2024 reviewer打分5558 论文提出一种“归纳学习”的提示方法 首先设计prompt让大模型生成出与当前问题比较相关的问题和答案，以辅助问答提出的问题
论文笔记：UNDERSTANDING PROMPT ENGINEERINGMAY NOT REQUIRE RETHINKING GENERALIZATION-CSDN博客	ICLR 2024 reviewer评分 6888 zero-shot prompt 在视觉-语言模型中，已经取得了令人印象深刻的表现 这一成功呈现出一个看似令人惊讶的观察：这些方法相对不太受过拟合的影响 论文试图从理论上解释这一点
论文笔记：Are Human-generated Demonstrations Necessary for In-context Learning?-CSDN博客	iclr 2024 reviewer 评分 6668 >提出了自我反思提示策略（简称 SEC） 不使用手工制作的示例作为演示，而是要求 LLMs 首先自行创建演示，基于这些演示生成最终输出 SEC 有效地解决了 ICL 的缺点：它不仅可以节省制作演示的繁重劳动，更重要的是，消除了人工制作提示的不稳定性

7 RAG

论文笔记：Seven Failure Points When Engineering a Retrieval AugmentedGeneration System-CSDN博客	CAIN 2024	在工程化一个RAG系统时的七个不足之处
论文笔记：RAG VS FINE-TUNING: PIPELINES, TRADEOFFS, AND A CASESTUDY ON AGRICULTURE-CSDN博客	微软24年1月	提出了一个全面的大语言模型流程，以生成高质量的、特定于行业【如农业】的问题和答案 旨在生成地理特定的答案 起点是一个农业数据集，该数据集被输入到三个主要组件：问答生成、检索增强生成（RAG）和微调过程 问答生成根据农业数据集中可用的信息创建问题和答案对 RAG使用它作为知识来源 精炼生成的数据，并用其微调数个模型
论文笔记：Retrieval-Augmented Generation forAI-Generated Content: A Survey-CSDN博客		北大202402的RAG综述

8 finetune

论文笔记：GEOLLM: EXTRACTING GEOSPATIALKNOWLEDGE FROM LARGE LANGUAGE MODELS_geollm-base-CSDN博客	ICLR 2024 reviewer 评分 35668 介绍了GeoLLM，一种新颖的方法 通过对LLM进行微调，利用构建的提示与OpenStreetMap的辅助地图数据，有效提取LLM中包含的丰富地理空间知识 通过论文展示的提示策略，可以精确定位一个位置，并为LLM提供足够的空间上下文信息，从而使其能够访问并利用其广泛的地理空间知识 在提示中包括来自附近位置的信息，可以将GPT-3.5的性能提高3.3倍，相比仅提供目标位置的坐标
Knowledge Card: Filling LLMs‘ Knowledge Gaps with Plug-in Specialized Language Models-CSDN博客	ICLR 2024 （oral） reviewer评分 888 提出了KNOWLEDGE CARD 通过整合更小但专业化的语言模型，为通用型LLMs赋予模块化和协作源的知识 越来越多强大的LLMs API已经发布，但是他们不直接可访问，并且训练或调整成本过高 ——>KNOWLEDGE CARD专注于增强黑盒LLMs以丰富其知识能力                          原文链接：https://blog.csdn.net/qq_40206371/article/details/137459686
论文笔记：NEFTune: Noisy Embeddings Improve Instruction Finetuning-CSDN博客	iclr 2024 reviewer 评分 5666 在finetune过程的词向量中引入一些均匀分布的噪声即可明显地提升模型的表现
论文笔记：LayoutNUWA: Revealing the Hidden Layout Expertise of Large Language Models-CSDN博客	iclr 2024 reviewer 评分 568 论文提出了LayoutNUWA，这是第一个将布局生成视为代码生成任务的模型，以增强语义信息并利用大型语言模型（LLMs）的隐藏布局专长。 开发了一种代码指令调整（CIT）方法，包括三个相互连接的模块： 1）代码初始化（CI）模块量化数值条件并将其初始化为带有策略性放置的掩码的HTML代码； 2）代码完成（CC）模块利用LLMs的格式化知识填补HTML代码中的掩码部分； 3）代码渲染（CR）模块将完成的代码转换为最终的布局输出，确保一个高度可解释和透明的布局生成过程，直接将代码映射到可视化布局。

9 安全&隐私

论文笔记：GPT-4 Is Too Smart To Be Safe: Stealthy Chat with LLMs via Cipher-CSDN博客	输入转换为密码，同时附上提示， 将加密输入喂给LLM LLM输出加密的输出 加密的输出通过解密器解密 ——>这样的步骤成功地绕过了GPT-4的安全对齐【可以回答一些反人类的问题，这些问题如果明文问的话，GPT-4会拒绝回答】
论文笔记：Detecting Pretraining Data from Large Language Models-CSDN博客	iclr 2024 reviewer评分 5688 提出了一个基准 WikiMIA和一种预训练数据检测方法Min-K% Prob
论文笔记：Teach LLMs to Phish: Stealing Private Information from Language Models-CSDN博客	iclr 2024 reviewer 评分 588 提出了一种“神经网络钓鱼攻击” 一种新的针对在敏感用户数据上训练或finetune的LLMs的攻击向量 攻击者将看似无害的投毒数据插入到模型的训练数据集中，以“教会LLMs进行钓鱼”，即诱导模型记住他人的个人身份信息，从而使对手能够通过训练数据提取攻击轻松提取这些秘密数据
论文笔记：Time Travel in LLMs: Tracing Data Contamination in Large Language Models-CSDN博客	iclr 2024 spotlight reviewer评分 688 论文提出了两种启发式方法来估计整个数据集分区是否受污染 第一种启发式方法认为，如果在引导指令下生成的部分与参考实例之间的平均重叠得分在统计上显著高于使用不包括数据集和分区名称的“通用指令”测得的得分，则该分区很可能受污染 第二种启发式方法是，如果基于GPT-4的分类器通过少量示例的in-context learning，至少标记一个生成的部分与参考实例精确匹配，或至少两个生成的部分为近精确匹配，则标记该分区为受污染
论文略读：FINE-TUNING ALIGNED LANGUAGE MODELS COMPROMISES SAFETY, EVEN WHEN USERS DO NOT INTEND TO!-CSDN博客	iclr oral reviewer 打分 66610 论文发现：通过仅用少量对抗性设计的训练示例进行微调，可以破坏LLMs的安全对齐 通过在OpenAI的API上仅用10个此类示例进行微调，成本不到0.20美元，就破解了GPT-3.5 Turbo的安全防护，使模型几乎可以响应任何有害指令 论文还揭示了，即使没有恶意意图，仅仅使用良性和常用的数据集进行微调也可能无意中降低LLMs的安全对齐，尽管程度较小
论文略读：Can Sensitive Information Be Deleted From LLMs? Objectives for Defending Against Extraction Att-CSDN博客	iclr 2024 spotlight reviewer 评分 6888 直接从模型权重中删除敏感信息的任务
论文略读：The Devil is in the Neurons: Interpreting and Mitigating Social Biases in Language Models-CSDN博客
论文笔记：PRIVACY ISSUES IN LARGE LANGUAGE MODELS: A SURVEY-CSDN博客	大模型隐私综述

10 benchmark

论文笔记/数据集笔记：E-KAR: A Benchmark for Rationalizing Natural Language Analogical Reasoning-CSDN博客	ACL 2022 提出了数据集E-KAR 首个可解释的知识密集型类比推理数据集 由 1,655 个（中文）和 1,251 个（英文）来自中国公务员考试的问题组成 并提出了类比推理问题的两个基准任务，用于教会和验证模型学习类比的能力
论文笔记：Better to Ask in English: Cross-Lingual Evaluation of Large Language Models for Healthcare Quer-CSDN博客	WWW 2024 研究了将大模型应用在医疗查询对话系统中的表现 提出了名为 XLingEval 的新型跨语言评测框架，以及名为XLingHealth的医疗查询跨语言数据集
论文笔记：SmartPlay : A Benchmark for LLMs as Intelligent Agents-CSDN博客	iclr 2024 reviewer评分 5688 引入了 SmartPlay，一种从 6 种不同游戏中提取的基准 衡量LLM作为智能体的能力
论文略读：SWE-bench: Can Language Models Resolve Real-world Github Issues?-CSDN博客	iclr 2024 oral reviewer评分 5668 论文引入了SWE-bench 在现实软件工程环境中评估语言模型的基准测试
论文笔记：(INTHE)WILDCHAT:570K CHATGPT INTERACTION LOGS IN THE WILD-CSDN博客	iclr 2024 spotlight reviewer 评分 5668 介绍了(INTHE)WILDCHAT数据集 一个全面的多轮、多语种数据集 包括通过ChatGPT和GPT-4 API支持的聊天机器人服务收集的570,000次完整对话，涵盖超过150万次互动轮次

11 大模型压缩

论文笔记：A Simple and Effective Pruning Approach for Large Language Models-CSDN博客	iclr 2024 reviewer 评分 5668 引入了一种新颖、简单且有效的剪枝方法，名为Wanda (Pruning by Weights and activations） 在每个输出的基础上，剪枝那些乘以相应输入激活后幅度最小的权重 无需重新训练或权重更新，剪枝后的LLM可以即刻使用

12 大模型+Graph

论文略读：OpenGraph: Towards Open Graph Foundation Models-CSDN博客

12.1 graph prompt tuning for 推荐系统

论文笔记：GPT4Rec: Graph Prompt Tuning for Streaming Recommendation-CSDN博客	SIGIR 2024
论文笔记：Integrating Large Language Models with Graphical Session-Based Recommendation-CSDN博客