NLP
撩到阿加西的胖
沉迷自然语言处理的程序媛。
展开
-
bpe分词-- huggingface tokenizers库
使用huggingface的bpe分词的代码示例原创 2024-04-18 08:25:02 · 174 阅读 · 1 评论 -
【LLM】langchain ui: langchain执行过程可视化
mapreduce方式是将检索到的文档(假设这里我们使用的是4个文档)先分别丢入llm(调用4次),由llm判定是否和问题相关,在将相关的丢入llm,回答问题。默认方式是将检索到的(假设这里我们使用的是4个文档)所有文档丢入llm,根据所有文档回答相应问题。每一次请求都会有相应的tag,具体点开可以到详细信息。refine方式将建多到的文档按照顺序丢入。原创 2023-09-20 09:43:13 · 872 阅读 · 1 评论