零基础本地计算机搭建AI大模型-教程,无网络也能给你使用,搭建属于你个人的AI,ChatGPT类大语言模型本地搭建,仅2步本地部署AI。

引言:

       自从Meta开发大语言模型之后,AI本地部署的门槛越来越降低了,你可以通过简单的命令就可以将在你的电脑部署一个AI语言模型,使用的是本地算力,就算没有网络的情况下也能正常使用,除此之外本地部署的AI不会受到太多的限制。

本教程手把手教你在本地,计算机上部署AI,没有网络的情况也,通过本地计算资源进行计算。废话不多说,那么直接开始

安装前的自建

1.计算机空间要求:

工具类名称需要空间
大模型管理工具 OllamaSetup.exe 298.51 MB
训练好的大模型本体llama3:8b4.7 GB
合计4.99 GB

2.建议计算机配置:

      只要是计算机都可以进行计算,但是能否顺畅运行还是的看计算机配置,能比较顺畅地运行配置:

CPU≥i5系列
内存≥16GB
硬盘≥20G(空闲)

安装流程

1.下载OllamaSetup.exe安装包(Windows版本)

官网地址:https://ollama.com/download/windows

官网下载速度太慢!5kb左右的下载速度,我将安装包放在百度网盘里,

关注我的公众号Crazy Dave】回复【AI】领取安装包。

2.双击安装包,开始安装

3.点击安装

4.安装结束之后,程序会自动关闭。

5.Windows图标键+R键(win+R),运行窗口输入cmd,并点击确定

6.在命令窗口输入ollama命令,并确认,会出现ollama的菜单说明安装成功。

7.可以选择以下几个模型(模型的介绍):

模型默认参数大小安装命令发布组织
Llama 3.1 8B4.7GBollama run llama3.1Meta
Mistral7B4.1GBollama run mistralMistral AI
mixtral8x7b26GBollama run mixtralMistral AI
Phi-33.8B2.2GBollama run phi3Microsoft Research
LLaVA7B4.7GBollama run llavaMicrosoft Research
Gemma 29B5.4GBollama run gemma2Google
Qwen27B4.4GBollama run qwen2阿里巴巴
Command R35B20GBollama run command-rCohere
deepseek-coder-v216B8.9GBollama run deepseek-coder-v2深度求索

        其中,Qwen是阿里巴巴的通义千问它对中文友好。Llama 3.1:8B也支持中文,不过每一次都需要手动提醒它。

本教程选择使用Llama 3.1:8B

8.在命令窗口中输入ollama pull llama3:8b

9.然后输入ollama list 可以看到当前已经安装好的大模型名称

10.输入ollama run llama3:8b运行大模型

11.在">>>"后面写自己要提问的内容

        由于llama3:8b模型对中文的支持不好,每一句都尽量加上“...用中文回复”这几个字,如果你安装的是Qwen2大模型,就不需要添加用中文回复提示词。

关注我,后续发如何让界面优美的可视化,并局域网内访问,同时调整各类参数

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值