LLM大模型
文章平均质量分 93
LLM大模型相关实现
Glan格蓝
炼丹术士
展开
-
LLM大模型之基于SentencePiece扩充LLaMa中文词表实践
目前大模型的词表和分词器都是基于SentencePiece工具实现的,比如LLaMa,BLOOM,ChatGLM,Baichuan等,简单来说SentencePiece就是工程化的实现了之前写的各种的分词算法原创 2023-09-09 17:49:45 · 1423 阅读 · 2 评论 -
LLM大语言模型之Generate/Inference生成/推理参数与解码策略原理与代码实现
LLM大语言模型Generate/Inference生成或者说推理时,有很多的参数和解码策略,比如OpenAI在提供GPT系列的模型时,就提供了很多的参数[1],那这些参数的原理以及代码上怎么实现的呢?本文将尽力进行一一的解释原创 2023-09-09 17:45:14 · 1065 阅读 · 1 评论 -
LLM大语言模型之Tokenization分词方法(WordPiece,Byte-Pair Encoding (BPE),Byte-level BPE(BBPE)原理及其代码实现)
本文主要内容为目前大模型时代分词是怎么做的☺️,WordPiece,Byte-Pair Encoding (BPE),Byte-level BPE(BBPE)分词方法的原理以及其代码实现原创 2023-09-09 17:38:01 · 599 阅读 · 2 评论