【AI大模型】这可能是最简单的本地大模型工具，无须部署，一键使用

前言

不需要配置环境，不需要部署，不需要自己找模型。小白也可以打开即用的本地大模型使用工具来了，下面就谈一谈我的使用感受和心得：

LM-Studio

那么问题来了，为什么我要在本地部署大模型？

个人使用下来，最吸引我的有这三点：

1. 隐私性：

网络大模型你的输入都是要上传的云端的，也就是你的隐私肯定会被大模型服务商所获得，这也是为什么那么多公司内部禁止使用网络大模型的原因。而且由于安全和审核机制，你所需要的或者发送的敏感的内容会被屏蔽。但是本地部署，数据完全由自己掌握。

1. 定制性：

目前大部分免费使用的大模型都是通用模型，就那几种，虽然可以通过提示词约束，但是内容生成大部分时候只是差强人意。本地部署，你将拥有整个开源世界的微调模型，医疗，法律，学术，动漫，感情，你即使不去定制自己的模型，也将拥有专业的各领域专家来帮你解决你能想到的大部分问题。更不必说定制自己的专属模型的可能性。

1. 成本和体验的优化：

首先承认大部分开源模型的上限是没有闭源模型高的，但是很多时候闭源模型的响应感受会受到网络，当前访问人数的限制。除非你愿意开会员，即使你愿意开会员，目前除了gpt-4o。大部门模型的响应是一个字一个字往外蹦的，尤其某些厂商做的恶心限制，离开网页就停止输出（某一言）如果你本地有一个还行的显卡，你会感受到原来大模型回答原来可以很迅速。

工具功能特点和使用方式介绍：

下载即exe，安装后即可使用，本体不到500m（提供mac和linux版本）

首页提供搜索功能和一些模型的推荐

你可以直接搜索并下载开源世界的大模型（目前看基本上huggingface，需要梯子）并下载使用，推荐模型会给出介绍。如他的来源是什么，他是多少参数的大模型，什么功能，是否经过量化处理，本地运行至少需求多少内存，占用多少硬盘空间。

模型下载管理：

注意！无论设置什么目录，模型目录必须有如下层级结构，否则会找不到模型：

聊天界面：

模型偏好设置

在聊天界面右上角有个设置功能，可以帮助我们更好的个性化使用，我会给出一些比较常用的参数设置解释

1. 模型初始化角色配置

Preset 可以选择不同模型的初始化设置，你也可以设置自定义的模型使用配置，包括不限于，系统角色初始化提示词（system prompt）,回答的随机程度，系统使用内存和显存的占比等。

1. 模型回答内容控制：

设置模型记忆上下文长度（content length），采样温度(temperature)介于 0 和 1 之间。较高的值（如 0.7）将使输出更加随机，而较低的值（如 0.2）将使其更加集中和确定性，最大生成内容长度（tokens to generate），默认-1由大模型决定生成长度。

1. 模型内容****质量控制

Top k ：模型回复时所考虑的回复质量占总体回复的质量比例，总体来说比例越高，回答的质量越高，效果也越单一。

Repeat penalty: 模型重复惩罚，越高模型回答的内容重复性越低

CPU threads: 占用线程。经过尝试，增加占用线程对模型响应速度有少量提升，效果不明显。

1. 显存内存使用占比：

没什么可说的，显存能撑住的情况下，拉到最大，内存的速度比显存慢多了。

使用速度体验：

2060 8g 显卡，7B Q4量化模型（基于llama3 微调的中文模型）。生成token速度为31t/s左右（比大部分网络模型响应快一倍左右），感受还是很不错的，如果完全不使用显存只使用内存，速度约5t/s 只能说能用。

kimi效果：

这个软件可以直接搜索官网mstudio.ai下载。

​

如何学习AI大模型？

现在社会上大模型越来越普及了，已经有很多人都想往这里面扎，但是却找不到适合的方法去学习。

作为一名资深码农，初入大模型时也吃了很多亏，踩了无数坑。现在我想把我的经验和知识分享给你们，帮助你们学习AI大模型，能够解决你们学习中的困难。

我已将重要的AI大模型资料包括市面上AI大模型各大白皮书、AGI大模型系统学习路线、AI大模型视频教程、实战学习，等录播视频免费分享出来，需要的小伙伴可以扫取。

一、AGI大模型系统学习路线

很多人学习大模型的时候没有方向，东学一点西学一点，像只无头苍蝇乱撞，我下面分享的这个学习路线希望能够帮助到你们学习AI大模型。

二、AI大模型视频教程

三、AI大模型各大学习书籍

四、AI大模型各大场景实战案例

五、结束语

学习AI大模型是当前科技发展的趋势，它不仅能够为我们提供更多的机会和挑战，还能够让我们更好地理解和应用人工智能技术。通过学习AI大模型，我们可以深入了解深度学习、神经网络等核心概念，并将其应用于自然语言处理、计算机视觉、语音识别等领域。同时，掌握AI大模型还能够为我们的职业发展增添竞争力，成为未来技术领域的领导者。

再者，学习AI大模型也能为我们自己创造更多的价值，提供更多的岗位以及副业创收，让自己的生活更上一层楼。

因此，学习AI大模型是一项有前景且值得投入的时间和精力的重要选择。