Why本地化AI
基于BS结构的AI平台已经很多,而且AI计算也需要大算力,个人电脑难以承受,为什么还需要本地化的AI呢?
对于个人而言,数据可以分为两类:可以公开的数据,和个人数据。本地化的AI可以提供更好的安全性。
此外,本地AI成本较低,免去了付费、网络环境差异的困境。
最后,从技术角度,用户可以选择自己喜欢的大模型,使用工具将模型和自己的学习、知识管理,以及工作流紧密耦合,在某些情况下,可以获得较好的使用体验。
When 本地化AI的应用场景
- 你有很多资料,安全性考虑,你希望本地AI处理
- 你不想付费使用,或者没法付费使用目标AI平台
- 你想找一种相对简单,模型选择余地大,且可本地即可使用的AI工具
How 如何本地化AI
AI工具的分类
- LLM:就是大语言模型,主要是用来对人类语言进行理解并能进行反馈的模型,典型应用是聊天,比如ChatGPT就属于该类
- AIGC: AIGC(Artificial Intelligence Generated Content),就是人工智能内容生成,例如生成图片、生成视频、生成语音、生成几何模型等
对于第一类模型的使用,算力要求相对小一些,最低有Nvidia 2060,6G显存的显卡即可尝试使用。
对于第二类模型的使用,需要较大的算力,在Nvidia 206