beingstrong的博客

Activation Beacon出自论文《Long Context Compression with Activation Beacon》(v1版的题目：Soaring from 4K to 400K: Extending LLM’s Context with Activation Beacon）。它引入了Beacon token将上下文信息蒸馏到其激活(activations)。

Memorag出自2024年9月的论文《Memorag: Moving towards next-gen rag via memory-inspired knowledge discovery》，它提出了长期记忆的概念，让一个轻量、长上下文窗口的LLM对数据集进行记忆后，针对用户的查询任务生成线索和回答草稿，再用这些信息去检索出相关数据库中与问题相关的信息，最后让一个更强大的LLM根据指令和检索出的信息生成最终的回答。

梯度累积(gradient accumulation)是在训练模型时使训练的batch size大于机器的内存能够容纳的最大batch size时采用的一种方法。其实现是在多个更小的batch里去累加模型的梯度，只有达到想要的batch size后再用优化器更新模型的参数。

极大似然法与交叉熵

HippoRAG是2024年5月的一篇论文《HippoRAG: Neurobiologically Inspired Long-Term Memory for Large Language Models》，它受人脑长期记忆的启发(Hippo是海马体英文单词的前缀)，用知识图谱(KG)来存储知识，并用检索编码器和个性化PageRank来检索回答问题所需的上下文，再让LLM根据上下文回答问题。

LightRAG出自2024年10月的论文《LIGHTRAG: SIMPLE AND FASTRETRIEVAL-AUGMENTED GENERATION》，也是利用图结构来增强RAG的能力，像是GraphRAG的简化版。它利用图结构来存储和检索文本数据，对于实体和关系不仅使用图存储，同时使用向量存储。检索时先用向量进行实体或关系召回，再借助图结构找到对应的chunk文本。

GraphRAG出自2024年4月的论文《From Local to Global: A Graph RAG Approach to Query-Focused Summarization》，其代码也在2024年年中开源。它在用图结构来完成RAG时，使用社区这个概念并基于社区摘要来回答一些概括性的问题。

《FACTS About Building Retrieval Augmented Generation-based Chatbots》是2024年7月英伟达的团队发表的基于RAG的聊天机器人构建的文章。FACTS是论文定义的RAG-based chatbots的五个维度：freshness (F), architectures(A), cost economics of LLMs ©, testing (T), security (S)的缩写。

向量模型Jina Embedding: 从v1到v3论文笔记。《Jina Embeddings: A Novel Set of High-Performance Sentence Embedding Models》《[Jina Embeddings 2: 8192-Token General-Purpose Text Embeddings for Long Documents]》《jina-embeddings-v3: Multilingual Embeddings With Task LoRA》

论文《How to Fine-Tune BERT for Text Classification?》是2019年发表的一篇论文。这篇文章做了一些实验来分析了如何在文本分类场景下微调BERT，是网上讨论如何微调BERT时经常提到的论文。

LLM agentic模式之multi-agent: ChatDev,MetaGPT, AutoGen思路

2024年2月的综述《Understanding the planning of LLM agents: A survey》提供了基于LLM的的agent的规划(planning)能力的系统视角，总结了近年来提高规划能力的工作。

LLM agentic模式之工具使用: Toolformer、CoA、MM-React思路

大模型基础之位置向量RoPE

vLLM实现原理PagedAttention论文笔记

LLM agentic模式之工具使用: Gorilla及openfunction模型简介

RAG 查询改写方法：HyDE、LLM4CS、Query2doc、rewrite-retrieve-read、Iter-RetGen、STEP-BACK Prompting思路介绍

LLM推理优化之KV cache、multi-query attention、Grouped-query attention、sliding window attention

LLM agentic论文《Self-Refine: Iterative Refinement with Self-Feedback》《Reflexion: Language Agents with Verbal Reinforcement Learning》《CRITIC: Large Language Models Can Self-Correct with Tool-Interactive Critiquing》

针对领域问答来进行知识对齐方法KnowPAT，KnowPAT(Knowledgeable Preference AlignmenT) 出自2023年11月的论文《Knowledgeable Preference Alignment for LLMs in Domain-specific Question Answering》

不需要参考模型的对齐方法ORPO和SimPO简介

基于Rank的大模型对齐方法RRHF和PRO思路介绍

大模型对齐方法DPO及其变种IPO、KTO、CPO原理

基于decoder-only LLM得到embedding的方法：LLM2Vec、Echo embeddings、PromptEOL、E5-mistral-7b-instruct、Sgpt、RepLLaMA 、cpt-text、UDEVER

ColBERT是一种多向量排序模型，因为引入了延迟交互机制(late interaction architecture)相比与cross-encoder效率提升了很多。ColBERTv2针对ColBERT的缺点进一步优化了性能和效率。在RAG大热的这一年，ColBERT也引起了一些关注。

文本向量模型BGE与BGE-M3原理介绍

面向检索任务的基于自动编码器的预训练模型方法模型预训练方法RetroMAE和RetroMAE-2原理

agent利用知识来做规划：《KnowAgent: Knowledge-Augmented Planning for LLM-Based Agents》笔记

优化器算法SGD、momentum、AdaGrad、RMSProp、AdaDelta、Adam、AdamW等

RAG(Retrieval-Augmented Generation)综述 [Retrieval-Augmented Generation for Large Language Models: A Survey](https://arxiv.org/abs/2312.10997) 粗略笔记

综述《Unifying Large Language Models and Knowledge Graphs: A Roadmap》统一大语言模型和知识图谱粗略笔记

Matryoshka Representation Learning (MRL)是2022年发表的论文，它可以学习到不同维度都有效的嵌入向量。因为OpenAI在2024年1月底发布的新向量模型得到关注。

激活函数Sigmoid、Tanh、ReLU、Leaky ReLU、PReLU、ELU、SoftPlus、Maxout、Mish、Swish、GELU、SwiGLU、GEGLU 总结

Baichuan2 技术报告笔记

文本生成模型的解码方法：Greedy Search、Beam Search、sampling、 Temperature Sampling、 top-k sampling、 Top-p (nucleus) sampling 、Contrastive search

Llama 2 论文《Llama 2: Open Foundation and Fine-Tuned Chat Models》详细阅读笔记记录

让LLM自动进行数据分析，论文《Data-Copilot: Bridging Billions of Data and Humans with Autonomous Workflow》笔记

Transformer 相关模型的参数量计算

React agent 论文《ReAct: Synergizing Reasoning and Acting in Language Models》阅读笔记

meta的LLaMA模型对应的论文《LLaMA: Open and Efficient Foundation Language Models》阅读笔记