在你的手机上跑本地AI大模型

可以想象，随着手机硬件性能越来越高，在不远的将来，手机本地可以很流畅的跑任何AI大模型。手机本地跑大模型，除了可以让大模型更加定制化个性化，而且最重要的是可以保护个人隐私（比如想玩NSFW的各位[偷笑]）

现阶段，本地手机流畅的跑大模型还比较困难，但是可以勉强跑跑10B以下的模型，比如Qwen1.8B, 我用MLC框架就可以跑起来，而且速度还相当可以。你们可以去参考下这个框架，教程什么的都有，不懂可以一起交流。

GitHub - mlc-ai/mlc-llm: Universal LLM Deployment Engine with ML CompilationUniversal LLM Deployment Engine with ML Compilation - mlc-ai/mlc-llmhttps://github.com/mlc-ai/mlc-llm跑的效果如下：

或者用llama.cpp跑GGUF格式的大模型，我尝试过在手机上用koboldcpp跑CausalLM-7B，也勉强可以接受，Github上也有教程，Termux上跑即可

https://github.com/LostRuins/koboldcpphttps://github.com/LostRuins/koboldcpp效果如下（配合Chub Venus AI使用，效果更佳）：

总之，手机本地跑大模型还有待时日，但应该是个趋势，请多关注吧。

有需要交流的可以加入我的星球：