LlamaIndex实战
NLP工程化
NLP工程师
展开
-
LlamaIndex中的CustomLLM(在线加载模型)
上述代码在加载 Embedding 模型的时候还是从本地加载的,这部分也是可通过 REST 接口方式调用的。基本思路:继承 BaseEmbedding 类,将加载 Embedding 模型部分封装为 REST 接口。可重点参考下 OpenAIEmbedding 类的实现。原创 2024-01-14 23:29:55 · 1045 阅读 · 1 评论 -
LlamaIndex中的CustomLLM(本地加载模型)
LlamaIndex 中接口基本上调用的是 OpenAI,如果想想调用自定义模型可以吗?答案当然是可以的。经过查找找到了自定义大语言模型的简单抽象基类 class CustomLLM(LLM)。原创 2024-01-14 23:28:30 · 1879 阅读 · 0 评论