![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
语言模型
文章平均质量分 96
沉下心来学鲁班
擅长设计高性能、可扩展、结构优良的软件,并致力于在编程领域宏扬工匠精神。
展开
-
语言模型解构——手搓BPE算法
BPE 的全称是 Byte Pair Encoding,以语料库作为输入,通过学习训练得到一个词库;基于训练出来的词库,对文本进行tokenize;让数据告诉我们如何去tokenize,而不是人工标注;subword tokenizer不是以单词为单位,而是以子词为单位,英语上可以理解成词根词缀;原创 2024-06-04 00:43:22 · 1337 阅读 · 0 评论 -
语言模型解构——Tokenizer
Tokenizer是一个词元生成器,它首先通过分词算法将文本切分成独立的token列表,再通过词表映射将每个token转换成语言模型可以处理的数字。原创 2024-05-31 00:04:26 · 957 阅读 · 0 评论 -
大语言模型实战——最小化模型评测
由于语言模型是一个词一个词输出的,我们可以把预测结果和标准答案都看成是按先后顺序生成的一个个的词,这样按照顺序对每个词两两比较就可以得出整个句子预测结果的精确率。进而可以得到F1 score,它是精确率和召回率的调和平均值,其取值范围为 0 到 1,其中,1 表示精确率和召回率均达到完美。原创 2024-05-29 00:17:17 · 1261 阅读 · 0 评论 -
大语言模型实战——最小化agent
Agent就是一个将语言模型和外部工具结合起来的智能体,它使用语言模型的推理能力做出决策,再调用外部工具来完成具体的行动,并将行动结果反馈给语言模型,这样语言模型可以通过行动的结果来做出进一步的决策,直到得出结果(工作流程如下图所示)。原创 2024-05-25 02:08:58 · 668 阅读 · 0 评论 -
大语言模型实战——搭建纯本地迷你版RAG
question: 用户真实提问的问题。context: 基于用户问题所检索出的上下文文档片段,作为语言模板在回答问题时主要参考的内容。RAG_PROMPT_TEMPALTE = """先对上下文进行内容总结,再使用上下文来回答用户的问题。如果你不知道答案,就说你不知道。总是使用中文回答。问题: {question}可参考的上下文:···{context}···如果给定的上下文无法让你做出回答,请回答数据库中没有这个内容,你不知道。有用的回答:"""原创 2024-05-21 00:51:35 · 1375 阅读 · 0 评论 -
大语言模型拆解——推理流程
在解码器的每个解码层中都有一个MLP,它将自注意力的输出作为输入,经过一个MLP进行非线性变换,得到一个新的隐藏状态,目的是捕捉到更丰富的上下文信息。OpenAI的模型中使用一组1536维的高维向量来表示一个词元,这表示一个词元有高达1536维信息,目的是为了更全面的提取每个词元的特征信息。原创 2024-05-16 23:59:50 · 1201 阅读 · 0 评论