最近有个概念叫“AIPC” ,听起来很牛逼,其实就是让PC运行AI算法&软件,比如运行大语言模型。
我们并不需要特意去买台联想电脑,完全可以用现成的软件把你的电脑变成AIPC。
昨天分享了一个运行Llama3大语言模型的软件叫LMStudio。
有人在评论中反馈,有更好的开源软件叫Jan。
我看了一下果然不错,所以立马来给大家分享了。
这个软件的官网就有这样一句话“Rethink the Computer, Turn your computer into an AI machine”
翻译一下大概是,重新思考电脑的定位,把它转变成AI机器。
这句话很有意思啊。
这里的电脑肯定指的是个人电脑(PC,Person Computer)!
这个理念非常不错,我们就是要把所有AI塞进自己的电脑,而不依赖任何中心化的服务器。
也许死气沉沉的PC市场,是应该有一些变化了。
说回软件,我们来看看Jan有哪些特性,然后再说说具体的使用方法!
完全开源
lmstudio其实已经是一个不错的软件了,但是它属于闭源软件,而Jan是开源的,对于软件开发者来说,代码学习者来说,就会更友好了。
多平台支持
Jan 可以在任何硬件上运行,支持的平台有:
- Nvidia GPUs (fast)
- Apple M-series (fast)
- Apple Intel
- Linux Debian
- Windows x64
这一点也是非常优秀了!
支持三大操作系统,支持苹果的Inter系列和M系列,所以基本上的PC用户都能用上!
另外,除了可以完全离线运行开源模型之外,也内置了对在线模型的支持,比如 OpenAI。
除此之外,也支持在本地运行Server,提供API服务!
说完特性,我们赶快来使用一下吧!
下面就完整地展示一下软件的使用方法。
1.下载并安装
这一步非常简单。
打开官网下载对应的版本即可。
官网地址:https://jan.ai
我这里演示的是Windows版本,下载之后直接双击EXE安装即可。
这个软件图标Logo有点意思啊!
2.下载模型
软件安装完成之后,需要先下载一个模型。
这里以国内比较好的开源模型Qwen为例子。
点击①图标,进入模型展示界面,这个界面上列出了一些模型。只要选择你需要的直接下载即可。
通过②处的检索功能,可以快速搜索模型。
通过③处可以下载模型。因为我已经下载过了所以图片中显示的为使用(USE)。
下载过程左下方会有进度条,需要魔法才能下载!
3.使用模型
模型下载成功之后,就可以选择模型,然后进行对话了。
在对话界面右侧中间区域,点击Model下面的下拉框,选中我们需要的模型。
我们只下载了一个Qwen,所以直接在Local下面选择Qwen就可以了。
选择成功之后,就立马可以开始对话了。
Qwen是一个非常不错的中文对话模型,你可以尝试各种问题。
4.导入外部模型
我们在上一篇文章中使用了最新发布的Llama3模型,而在Jan上却找不到。那么,如果我们想在Jan上使用这个模型该怎么办呢?
好办!我们可以使用它的导入功能。
点击导入模型(Import Model)
然后会跳出一些界面,需要简单操作一下。
把模型拖动到窗口中,或者点击打开一个文件夹选择器,选中模型所在的文件夹。
选中导入文件夹(Import Folder)
选中一个具有GGUF模型文件的文件夹。
我这里用的是上次在LMStudio中下载的Llama3模型。
选择保持原始文件&创建软链接(Keep Original Files & Symlink)
这么做的好处是,减少重复文件,节省硬盘空间。相当于同一个模型文件,可以同时给多个软件使用,不需要搬运复制。
最后点击继续导入(Continue Importing)
导出成功之后,就可以使用这个模型了。
在对话界面中,选中Llama3模型,就可以直接开始对话了。
Llama3的英文能力比较好,英语比较好的可是使用这个模型。
大语言模型的容错率还是比较强的,你即便语法不对,拼写错误,也能正确理解你的意思。
说完了模型安装和模型导入。我们接下来说一个看起来并不重要,实际上很重要的问题。
6.修改模型路径
这个软件默认的模型保存路径在C盘的用户目录下,这一点有时候很要命。
大模型文件动不动就几个G,随便下几个模型,就能把C盘给塞爆咯。
所以,这个必须改掉。
修改方式如上图。
点击①设置
点击②扩展选项(Advanced Settings)
点击③ 数据文件设置(Jan Data Folder)后面的小笔。
然后选中一个比较大的硬盘路径。
7.使用在线模型
本地模型有足够的自由度,但是说起绝对的能力,还是闭源在线模型强一点。
所以,有需要的情况下,我们也可以直接在这个软件上使用ChatGPT等在线模型。
设置方式如上图。只要在秘钥(APIKey)的地方设置一个OpenIA的Key就好了。这个key可以在OpenAI官网获取!
当然这是收费滴,而且只有本地环境能访问OpenAI的情况下才可以使用。
除了OpenAI之外,这里还有好几个在线引擎(Engine),可以根据自己的喜好和应用场景进行选择。
8.提供API服务
这个软件的功能也是非常完善,有普通用户使用的功能,也有适合高阶玩家的功能。
比如,除了我使用别人的API之外,我也可以提供兼容OpenAI的API。
设置方式如上图。
点击①图标
选择②模型
点击③启动服务。
启动成功之后,就可以通过设定好的网址,端口和API前缀提供API服务了。
根据官方文档介绍,后续可能还会集成微调服务!
这个项目方还特别强调了以下几点:
- 不会索要个人信息
- 完全免费,没有收费版本
- 不会发代币,没有ICO(这个有点意思)
- 目前没有积极筹款或寻求捐赠
这么好的项目,值得去点个Star,也别忘了给这篇文章点个赞!
关于这个软件的核心用例和设置应该都提到了,如果还有什么问题可以留言或者阅读官方文档。
这个项目的github和doc也做的非常优秀,高搞技术写代码的可以去观摩一下。
github:
https://github.com/janhq/jan
doc:
https://jan.ai/docs