- 博客(89)
- 收藏
- 关注
RSS订阅原创 LLM agentic模式之规划能力(planning)
2024年2月的综述《Understanding the planning of LLM agents: A survey》提供了基于LLM的的agent的规划(planning)能力的系统视角，总结了近年来提高规划能力的工作。
2024-08-24 22:52:35
581
原创 LLM agentic模式之工具使用: Toolformer、CoA、MM-React思路
LLM agentic模式之工具使用: Toolformer、CoA、MM-React思路
2024-08-17 22:45:58
671
1
原创 RAG 查询改写方法：HyDE、LLM4CS、Query2doc、rewrite-retrieve-read、Iter-RetGen、STEP-BACK Prompting
RAG 查询改写方法：HyDE、LLM4CS、Query2doc、rewrite-retrieve-read、Iter-RetGen、STEP-BACK Prompting思路介绍
2024-07-21 11:24:14
962
原创 LLM推理优化笔记1：KV cache、Grouped-query attention等
LLM推理优化之KV cache、multi-query attention、Grouped-query attention、sliding window attention
2024-07-13 23:03:12
760
原创 LLM agentic模式之reflection：SELF-REFINE、Reflexion、CRITIC
LLM agentic论文《Self-Refine: Iterative Refinement with Self-Feedback》《Reflexion: Language Agents with Verbal Reinforcement Learning》《CRITIC: Large Language Models Can Self-Correct with Tool-Interactive Critiquing》
2024-06-23 17:14:48
1029
原创 图神经网络pytorch_geometric库之MessagePassing类
MessagePassing是图神经网络Python库pytorch_geometric(PyG)库里非常重要的一个基类，它可以用来创建消息传递图神经网络，pytorch_geometric里很多类比如图卷积层GCNConv和图注意力层GATConv都基于此类实现，我们也可以基于它来自定义图神经网络。
2024-06-14 21:24:22
982
原创 大模型对齐方法笔记四：针对领域问答来进行知识对齐方法KnowPAT
针对领域问答来进行知识对齐方法KnowPAT，KnowPAT(Knowledgeable Preference AlignmenT) 出自2023年11月的论文《Knowledgeable Preference Alignment for LLMs in Domain-specific Question Answering》
2024-05-31 08:27:52
978
原创 基于decoder-only LLM 的embeddings：LLM2Vec、Echo embeddings、PromptEOL、E5-mistral-7b-instruct、Sgpt等
基于decoder-only LLM得到embedding的方法：LLM2Vec、Echo embeddings、PromptEOL、E5-mistral-7b-instruct、Sgpt、RepLLaMA 、cpt-text、UDEVER
2024-04-30 20:40:13
1347
2
原创 RAG文本解析工具open-parse
open-parse是一个用来分块pdf的开源工具，它主要基于视觉驱动(Visually-Driven)的方式来将文档分块，有助于提升RAG文档分块的效果。
2024-04-25 20:27:06
2130
2
原创 ColBERT和ColBERTv2:兼具Bi-encoder和cross-encoder优势的多向量排序模型
ColBERT是一种多向量排序模型，因为引入了延迟交互机制(late interaction architecture)相比与cross-encoder效率提升了很多。ColBERTv2针对ColBERT的缺点进一步优化了性能和效率。在RAG大热的这一年，ColBERT也引起了一些关注。
2024-04-20 09:22:00
2009
1
原创 PET-SQL:基于大模型的两阶段Text2SQL方法
PET-SQL出自论文《[PET-SQL: A Prompt-enhanced Two-stage Text-to-SQL Framework with Cross-consistency](https://arxiv.org/abs/2403.09732)》，将基于大模型的Text2SQL分为两个阶段进行。
2024-04-07 22:12:10
1552
原创 基于自动编码器的预训练模型方法模型预训练方法RetroMAE和RetroMAE-2
面向检索任务的基于自动编码器的预训练模型方法模型预训练方法RetroMAE和RetroMAE-2原理
2024-03-31 21:33:51
1601
原创 agent利用知识来做规划：《KnowAgent: Knowledge-Augmented Planning for LLM-Based Agents》笔记
agent利用知识来做规划：《KnowAgent: Knowledge-Augmented Planning for LLM-Based Agents》笔记
2024-03-24 10:13:11
1364
原创 优化器算法SGD、Adam、AdamW等
优化器算法SGD、momentum、AdaGrad、RMSProp、AdaDelta、Adam、AdamW等
2024-03-16 16:13:33
1229
原创 文本向量评测MTEB和C-MTEB
文本向量评测MTEB和C-MTEB介绍，MTEB(Massive Text Embedding Benchmark)是目前评测文本向量很重要的一个参考，其榜单也是各大文本向量模型用来展示与其他向量模型强弱的一个竞技台。C-MTEB则是专门针对中文文本向量的评测基准。
2024-03-10 22:44:21
3199
3
原创 RAG综述 《Retrieval-Augmented Generation for Large Language Models: A Survey》笔记
RAG(Retrieval-Augmented Generation)综述 [Retrieval-Augmented Generation for Large Language Models: A Survey](https://arxiv.org/abs/2312.10997) 粗略笔记
2024-03-10 12:05:31
2717
原创 综述《Unifying Large Language Models and Knowledge Graphs: A Roadmap》统一大语言模型和知识图谱笔记
综述《Unifying Large Language Models and Knowledge Graphs: A Roadmap》统一大语言模型和知识图谱粗略笔记
2024-03-03 22:52:55
1037
原创 Matryoshka Representation Learning (MRL)-俄罗斯套娃向量表征学习
Matryoshka Representation Learning (MRL)是2022年发表的论文，它可以学习到不同维度都有效的嵌入向量。因为OpenAI在2024年1月底发布的新向量模型得到关注。
2024-02-25 21:05:24
1421
原创 ElasticSearch(ES) 搜索入门笔记
ElasticSearch(ES) 搜索入门笔记，如何创建mapping，analyzer，如何搜索等
2024-01-21 15:51:30
1334
原创 无监督关键词提取算法:TF-IDF、TextRank、RAKE、YAKE、 keyBERT
无监督关键词提取算法:TF-IDF、TextRank、RAKE、YAKE、 keyBERT
2024-01-01 17:05:44
2129
原创 优先经验回放(prioritized experience replay)
优先经验回放(prioritized experience replay)的原理和实现
2023-11-22 21:18:57
2296
原创 混合整数非线性规划求解器SCIP初探
SCIP是目前最快的混合整数线性规划(mixed integer programming,MIP)和混合整数非线性规划(mixed integer nonlinear programing, MINLP)的求解器之一。
2023-11-04 17:44:28
1728
原创 激活函数小结：ReLU、ELU、Swish、GELU等
激活函数Sigmoid、Tanh、ReLU、Leaky ReLU、PReLU、ELU、SoftPlus、Maxout、Mish、Swish、GELU、SwiGLU、GEGLU 总结
2023-10-14 17:20:50
3963
原创 《Reinforcement Learning: An Introduction》第8章笔记
《Reinforcement Learning: An Introduction》第8章Planning and Learning with Tabular Methods 表格型规划与学习方法 笔记
2023-09-29 08:52:06
217
原创 git clone报错symbol lookup error: libp11-kit.so.0: undefined symbol: ffi_type_pointer, version LIBFFI
git clone 报错/usr/lib/git-core/git-remote-https: symbol lookup error: /lib/x86_64-linux-gnu/libp11-kit.so.0: undefined symbol: ffi_type_pointer, version LIBFFI_BASE_7.0 解决方法记录
2023-09-28 20:12:48
1720
1
原创 LIDA:让LLM自动可视化数据-《LIDA: A Tool for Automatic Generation of Grammar-Agnostic Visualizations and Info》
LIDA:让LLM自动可视化数据。《LIDA: A Tool for Automatic Generation of Grammar-Agnostic Visualizations and Info》笔记
2023-09-16 15:24:20
1068
原创 文本生成模型如何解码
文本生成模型的解码方法：Greedy Search、Beam Search、sampling、 Temperature Sampling、 top-k sampling、 Top-p (nucleus) sampling 、Contrastive search
2023-09-09 23:08:49
348
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人