weixin_72309717的博客

字节团队今年初正式发布了Coze（扣子），你可以在上面创建自己的聊天机器人，工作流等等，而且有着丰富的插件，轻松实现AI需求，并快捷发布到各个应用，比如豆包，微信等。1.首先是创建Bot，可以选择接入的大模型，目前有以下可选模型，而且这个界面还可以选择是否在机器人中添加插件，工作量，知识库等。2.给个系统prompt后，当我们的虚拟狗狗，coze还会给一下智能tips，增加互动。3.接下来，试一下发布微信公众号，填入公众号的appid即可授权，非常快！最近我就尝试着用Coze接入微信公众号。

别看他只是一个前端项目，但是已经形成了一套生态，有关文字方面的AIGC可以这个平台上为所欲为（褒义词）。上篇博文说手机跑大模型的时候提到了酒馆，所以酒馆是什么？这种就基本没什么可玩性了。

现阶段，本地手机流畅的跑大模型还比较困难，但是可以勉强跑跑10B以下的模型，比如Qwen1.8B, 我用MLC框架就可以跑起来，而且速度还相当可以。可以想象，随着手机硬件性能越来越高，在不远的将来，手机本地可以很流畅的跑任何AI大模型。或者用llama.cpp跑GGUF格式的大模型，我尝试过在手机上用koboldcpp跑CausalLM-7B，也勉强可以接受，Github上也有教程，Termux上跑即可。总之，手机本地跑大模型还有待时日，但应该是个趋势，请多关注吧。

相信很多小伙伴都想自己手搓大模型，所以有大佬做了LLaMA-Factory，但是有工具还不行，还得有环境，说实话，我现在每天除了上班就是带孩子，连游戏都没得打，所以自己连个有GPU的电脑都没[苦笑]。最后，找到了阿里云，有个DSW的服务，类似谷歌的Colab，目前可以免费包3个月，让你短期尽情手搓大模型，注意这个PAI下面只有DSW是有免费试用，不要尝试去用别的，不要问我怎么知道的。然后，我尝试找国内平替，比如Openl启智社区，用下来感觉不好用，你们可以去试试。好了，工具找到了，下面开始搞事情。

微信小程序接入后台Deepseek