前端开发同学轻松本地跑一个LLM，免费玩转大模型应用开发

最新推荐文章于 2024-09-16 22:26:35 发布

AI_小站

最新推荐文章于 2024-09-16 22:26:35 发布

阅读量826

点赞数 23

文章标签： llama transformer 人工智能 ai大模型大模型应用开发 LLM 大语言模型

本文链接：https://blog.csdn.net/python1234567_/article/details/140868382

版权

相信前端的同学已经在研究基于LLM的应用开发了，但是现在网上的教程都是基于openAI的接口，要注册、付费，有没有免费的方便前端把玩的本地LLM呢？当然有。

作为中国人，我们首先把目光聚焦在支持中文的大模型上，然后在一堆开源模型中反复研究，最终，我们选定ChatGLM这个由清华和智普合作的中英双语大模型。除了支持中文外，另外一个重要的原因是，能够让前端的同学上手，而不需要搭建复杂的环境，在nodejs的基础上可以轻松跑起来。

在生态里面，chatglmjs可以帮助我们在nodejs、electron等环境下面轻松的跑一个本地的LLM，有了这个本地的LLM，那么我们在做大模型应用开发的时候，就不用再去连openai的接口，省下一笔不小的费用。

接下来我们看看怎么上手。

首先，安装chatglmjs：

npm i chatglmjs

安装之前需要确保你的电脑上安装了cmake，需要支持c/c++的编译。

接下来，生成/下载大模型bin文件。

git clone --recursive https://github.com/li-plus/chatglm.cpp.git && cd chatglm.cpp
python3 -m pip install -U pip
python3 -m pip install torch tabulate tqdm transformers accelerate sentencepiece
python3 chatglm_cpp/convert.py -i THUDM/chatglm3-6b -t q4_0 -o chatglm3-6b.q4_0.bin

如果你是个懒人，可以直接点击这里下载已经生成好的bin文件。

最后，进入nodejs的代码编写：

const { chat, chatSync } = require('chatglmjs');
const { resolve } = require('path');

chat({
  model_bin_path: resolve(__dirname, '../llms/chatglm3-6b.q4_0.bin'),
  prompt: '你好',
  onmessage(msg) {
    process.stdout.write(msg);
  },
});

上面就是chatglmjs的最简单用法，当然，你还可以结合express创建一个服务，前端发一个ajax请求，由express调用上面这段代码来响应ajax，这样就可以在前端浏览器里面实现一个大模型应用了。

好了，今天就分享到这里，没必要为了凑字数搞一堆高深的概念，相信有想法的同学很快就能按照本文介绍的方法完成本地LLM的接入。

项目地址：github.com/tangshuang/…
记得给个star哦

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述