前端大模型入门：Transformer.js 和 Xenova-引领浏览器端的机器学习变革

除了调用别人的api接口使用transformer技术，你是否想过将大模型在浏览器中运行呢？尤其是WebGPU的出现，性能比WebGL高不少，很多小任务真的不再需要在一个中心运行了。

不少同学买课学python了，但我还是在坚持用js尝试，相信一切都可以用js实现的，下面就介绍下我是如何实现的吧~~

随着人工智能和深度学习的普及，越来越多的应用开始借助强大的预训练模型来处理文本、图像等数据。然而，大多数这类模型需要依赖于云端服务器，用户端必须通过网络调用后端的API，这不仅带来了延迟问题，还可能引发隐私和数据安全的担忧。为了解决这些挑战，Xenova 团队推出了 Transformer.js，一个基于 JavaScript 的库，让开发者可以在浏览器中本地加载和执行预训练模型，摆脱服务器的依赖。

前置知识和准备

• javascript 相关的web知识，创建一个html文件，引入库

• 国内HF模型镜像站（如果有代理可忽略）

  env.remoteHost = ‘https://hf-mirror.com’

什么是 Transformer.js？

Transformer.js 是 Xenova 团队开发的一个 JavaScript 库，旨在让用户能够在浏览器或 Node.js 环境中运行 Transformer 模型，而不需要依赖于后端服务器。这个库的核心功能是使用 WebAssembly（Wasm）和 WebGPU 等技术，将复杂的深度学习任务本地化执行。

Transformer.js 支持的模型涵盖了 Hugging Face 的 Transformers 模型库，包括 GPT、BERT、T5 等，广泛应用于自然语言处理任务，如文本生成、情感分析、翻译等。

Transformer是一种架构，现在很多模型，包括大语言模型，大都基于此构建，这里就不展开了&#x