da'jdaj人工智能,现在流行的大模型有很多,像流行的:gpt-3.5-turbo、通义千问2.5,Llama3;
本地安装大模型有什么好处
大模型都是开源的,安装在自己的电脑上也是免费使用的;可以结合自己的私有文件系统,打造一个大模型+个人知识库的AI系统,既保护了个人数据隐私,
大模型参数
其中比较重要的比如qwen7b, llama8b,这里的7b、8b代表什么?
b是英文的billion,意思是十亿,7b就是70亿,8b就是80亿,70亿、80亿是指大模型的神经元参数(权重参数 weight+bias)的总量。
目前大模型都是基于Transformer架构,并且是很多层的Transformer结构,最后还有全连接层等,所有参数加起来70亿,80亿,还有的上千亿。
本地如何安装大模型
到ollama官网Ollama,下载window安装包;有window、linux、macOS三个平台上运行
下载完直接双击运行; 安装完成后;在window电脑,搜索oolama,进行服务启动
安装完成后,在cmd执行ollama ;
ollama list 查看oolama 已经安装了哪些模型
ollama run llama3 启动ollama服务器;然后出现send a message
这样就可以和llama3对话了