本地化AI应用初探 - 无须 Docker，个人资料无须上传平台，本地AI化

Why本地化AI

基于BS结构的AI平台已经很多，而且AI计算也需要大算力，个人电脑难以承受，为什么还需要本地化的AI呢？

对于个人而言，数据可以分为两类：可以公开的数据，和个人数据。本地化的AI可以提供更好的安全性。

此外，本地AI成本较低，免去了付费、网络环境差异的困境。

最后，从技术角度，用户可以选择自己喜欢的大模型，使用工具将模型和自己的学习、知识管理，以及工作流紧密耦合，在某些情况下，可以获得较好的使用体验。

When 本地化AI的应用场景

• 你有很多资料，安全性考虑，你希望本地AI处理
• 你不想付费使用，或者没法付费使用目标AI平台
• 你想找一种相对简单，模型选择余地大，且可本地即可使用的AI工具

How 如何本地化AI

AI工具的分类

• LLM：就是大语言模型，主要是用来对人类语言进行理解并能进行反馈的模型，典型应用是聊天，比如ChatGPT就属于该类
• AIGC: AIGC(Artificial Intelligence Generated Content)，就是人工智能内容生成，例如生成图片、生成视频、生成语音、生成几何模型等

对于第一类模型的使用，算力要求相对小一些，最低有Nvidia 2060，6G显存的显卡即可尝试使用。

对于第二类模型的使用，需要较大的算力，在Nvidia 206