技术仔QAQ-CSDN博客

原创【Transformer实践】代码分析和实现Transformer的每一个组件

基于你了解Transformer理论的基础上，以代码实践为主，手撸Transformer的每个模块的实现

2024-11-27 20:05:58 2000

原创 LLM大模型训练之Trainer类和TrainerArguments类的参数

本文主要介绍Huggingfaca的Transformer库中的Trainer类和TrainerArguments类的参数，主要参考官网的文档，TrainerArguments类是为Trainer提供训练参数的类，所以参数量会更大，有99个。

2024-11-18 12:32:05 1479

原创 LLM的不同精度详解和显存占用，FP16，FP32，BF16

本文从三种精度的详解概念和计算，到每种精度占用显存的计算方式，最后介绍精度之间的相互转换，更深刻理解LLM在训练/推理时的参数类型的使用。

2024-11-18 10:24:21 6504

原创【tokenization分词】WordPiece, Byte-Pair Encoding(BPE), Byte-level BPE(BBPE)的原理和代码

介绍三种主流的tokenization方法，从分词原理、步骤到代码，深刻理解每种分词方法的特点，和适用的模型和任务场景

2024-11-14 23:31:17 1489

原创【PDF提取神器】针对LLM推出的PymuPDF4llm库可提取pdf中的Markdown格式文字/表格/图像/单词

pdf提取的全新库PymuPDF4llm，以markdown格式提取文字，且能提取图像、表格、文字，辅助LLM构建更强大的多模态应用

2024-11-07 15:59:00 2317

原创【RAG系列】KG-RAG 用最简单的方式将知识图谱引入RAG

介绍如何用最简单的方法将知识图谱加入到RAG的原因、挑战和具体方法，详细实现可见源码。

2024-11-06 17:34:05 1342

原创【Qwen2技术报告分析】解读模型架构 pre/post数据构建和模型评估

全面介绍Qwen2的技术报告，包括模型架构、数据构建和模型评估。

2024-11-04 23:58:31 2451

原创【RAG系列】多模态RAG的三种实现思路和代码

介绍多模态RAG的三种主流实现思路，附有代码示例。

2024-10-24 16:42:59 5072 1

原创【Agent系列】详细调研总结19种主流Agent框架

详细总结对比19种主流Agent框架

2024-10-24 10:43:06 35864 5

原创【RAG系列】基于代码仓库的RAG问答，为仓库构建知识图谱

知识图谱在代码仓库问答场景上的应用

2024-10-23 19:24:04 2534

原创【Agent系列】Plan-and-Solve 提升LLM的多步推理能力

Plan-and-Solve，增强LLM的多步推理能力

2024-10-22 21:34:50 1123

原创【prompt调优】利用LLM的认知进行Prompt的自优化

让LLM自己来优化prompt

2024-10-19 18:18:00 2990

原创【Agent系列】从论文到源码解析Self-Ask 以及数据构建带来的启发

Self-Ask的实现、数据集构建和实验背后的LLM机制，很有探索性的一篇工作。

2024-10-17 22:22:26 1508

原创【Agent系列】从论文到源码全面解析ReAct 简单又全面

从论文到源码全面解析ReAct，希望能帮助大家多了解一点这个模型。

2024-10-16 22:49:37 1703

原创【一篇就足够】全面总结Prompt工程的理论、实践与挑战

经典prompt范式的介绍

2024-10-14 23:36:58 2456

原创【强大的AI网页插件助手】Monica 为网页而生的多功能AI助手

【强大的AI网页插件助手】Monica 为网页而生的多功能AI助手

2024-10-13 23:00:55 6524

原创全网最全面详细的Cursor使用教程，让开发变成聊天一样容易

介绍超好用的AI辅助变成工具，让开发变成聊天，解放双手，释放生产力。

2024-10-10 23:11:38 461107 79

m0_68116052的博客