一、写在前面
github:https://github.com/Mintplex-Labs/anything-llm
二、deepseek生成key
官网:https://platform.deepseek.com/api_keys
创建key之后,记得保存起来
二、安装AnythingLLM
1、下载地址:https://anythingllm.com/desktop
直接安装即可,过程可能有点长。
2、创建工作区
3、可以选择LLM,这里用deepseek
输入APkey(需要收费。。。)
我们可以选择本地模型,会自动下载。
三、使用
1、上传一个文件
需要花费一定的时间Embed,这考验计算机的计算资源。
这是这个excel的内容:
2、测试一下:
这里用的本地1.5B的大模型,可能有点智障。
四、API对接
1、生成秘钥
可以对接API
2、对话接口
如果用chat,响应很慢,最好用stream,需要进行对接
http://localhost:3001/api/v1/workspace/cxfworkspace/chat
注意Authorizationheader头需要设置
,可以先测试一下