前言
目前大模型应用在这两年非常火热,常规下软体在使用的过程中直接利用API会非常的方便与便捷,并且结合对于平台的智能库等方式,能实现非常多的功能和使用。但在部分相对独立的环境中需要进行使用,则需要进行本地化的部署和安装,同时在未来可能对个人的垂类模型也会有一定的发展,对于公司与个人都值得去了解一下大模型的安装与使用。
预计学习内容如下:
- Ollama安装与基础使用
- 大模型可视化界面研究
- 大模型应用中RAG的使用
- 大模型应用中模型的微调
- 结合实际生产接口的开放
对于目前市面上所进行许许多多基于API衍生的页面与工程尘出不穷。从早期作为割韭菜用的套壳网页,还是现在各家所开发的大模型应用,大部分的应用都是基于现有技术进行封装与包装。在真正使用的过程中,抛开上期所聊到的大模型的ollama工具,在使用上还是需要一定的工具进行使用。推荐的安装方式为docker,可以减少一些不必要的麻烦,同时在删除的时候比较方便。
从体验感来说,比较推荐一下几款,这边主要是以网页端为主:
FastGPT,有点类似字节豆包的风格,在使用上也有一些类似confyui的组件化节点,在后续的使用中有比较高的操作空间。
OpenWebui,传统的GPT应用风格,融合了一些RAG与ollama的契合度比较高,同样也适用于其他的大模型做载体
LobeChat,综合性挺高的,复杂性多一些,但也同样具有多样功能的结合,方便做一些额外的扩展与演示
FastGPT
官网地址:https://fastgpt.in/
文档地址:https://doc.fastai.site/docs/development/docker/
OpenWebui
github地址:https://github.com/open-webui/open-webui
LobeChat
github地址:https://github.com/lobehub/lobe-chat