大模型原理
文章平均质量分 92
做个天秤座的程序猿
喜欢研究langchain和langchain-chatchat
展开
-
Hugging Face Transformers 库学习提纲
Hugging Face Transformers 库是一个强大且易于使用的工具包,用于实现和应用各种Transformer模型。我们先列一个详细的学习提纲,帮助我们系统地学习和掌握Hugging Face Transformers库。以下是提纲,我们先整体过一遍,然后再有针对的去学习。学习 Hugging Face Transformers 库需要从基础概念和环境配置入手,逐步掌握库的基本使用方法和高级应用,通过实际案例和项目实战提升实践能力,并且结合社区资源和前沿研究不断深入学习和探索。原创 2024-06-25 01:30:00 · 250 阅读 · 0 评论 -
大模型基本概念学习 - Checkpoint、PyTorch、 TensorFlow、Transformers、ModelScope
之前学习的过程中我们的模型应用可以跑起来了,那么在这个过程中我们是按官方的demo来学习编写的,有些地方只会用,但是并没有深入理解。现在我们一起来学习一些大数据的基础概念,Checkpoint、PyTorch、 Transformers、ModelScopeTensorFlow 是由 Google Brain 团队开发的开源深度学习框架。自 2015 年发布以来,它已经成为机器学习和深度学习社区中广泛使用的工具之一。TensorFlow 适用于从研究到生产的广泛应用场景,并支持多种编程语言。原创 2024-06-23 09:25:59 · 1177 阅读 · 2 评论 -
一起学习大模型 - 容易混淆的Token Id和向量嵌入
看下面这段例子# 数据向量化# 向量化检索# 结果梳理。原创 2024-06-11 09:00:00 · 1084 阅读 · 0 评论 -
一起学习大模型 - embed model和 llm model 常见的搭配和考虑因素
昨天和别人讨论大模型应用的时候,发现很多人存在词向量混用的情况,就是随意选embed model搭配 llm model 来用。实际上会导致很多的问题,出来的结果肯定也是不理想的。选择和搭配合适的词向量嵌入模型和大语言模型需要考虑它们的兼容性、具体任务需求以及具体实现细节。通过合理的搭配和微调,可以实现更好的性能和效果。原创 2024-05-31 10:57:34 · 1351 阅读 · 0 评论 -
一起学习大模型 - 大模型的交互工具 prompt简介与运用
按我们前面一节langchain表达式 LCEL来看,,可以大概看出大模型的应用主要分三部分,prompt 提示词、model模型计算 、output_parser输出格式化。今天我们讲 prompt。在深入了解langchain这一块的源码前,我们先简单看看它的概念和简单的运用通过上述步骤,我们使用 LangChain 创建了一个 prompt template,并通过填充模板生成了一个具体的 prompt,最后将其应用于 OpenAI 的大模型生成内容。原创 2024-05-28 09:00:00 · 930 阅读 · 0 评论 -
LangChain 表达语言(LCEL)的底层是怎么实现的
看langchain文档里的一段示例代码,演示了怎么把提示 + 模型 + 输出解析器链接在一起。不知道大家有没有疑问官方说类似于unix管道操作符,但是python本身不是默认支持管道操作符的,那它是怎么实现的呢运算符重载是通过定义特定的魔术方法(特殊方法)来实现的。__add____sub____mul____or____or__方法的定义非常简单,接受一个参数,表示运算符右侧的对象。通常,__or__方法会返回一个新对象,代表了两个对象通过运算符结合的结果。原创 2024-05-27 09:00:00 · 1998 阅读 · 0 评论 -
一起学习大模型 - 从底层了解Token Embeddings的原理(1)
大家在使用离线或在线的Token Embeddings的时候,有没有想过它是怎么实现的呢,出来的一系列有各种数值的矩阵,又有什么含义呢?它们的作用是什么?Token Embeddings 是一种将文本中的词语转化为向量表示的方法。在自然语言处理中,我们通常将文本表示为一个向量矩阵,其中每个词语对应一个向量。这些向量被称为词向量或者词嵌入。Token Embeddings 是一种词向量的扩展,它可以将不同类型的词语(如单词、字符、子词)都转化为向量表示。原创 2024-05-25 09:00:00 · 993 阅读 · 0 评论