transformers-js 项目教程

transformers-js 项目教程

transformers-jsBrowser-compatible JS library for running language models项目地址:https://gitcode.com/gh_mirrors/tr/transformers-js

1. 项目的目录结构及介绍

transformers-js/
├── demo/
│   ├── index.html
│   ├── main.js
│   └── style.css
├── src/
│   ├── models/
│   │   ├── t5-small/
│   │   └── ...
│   ├── tokenizers/
│   │   ├── t5-small/
│   │   └── ...
│   ├── index.js
│   └── utils.js
├── Makefile
├── package.json
└── README.md

• demo/: 包含项目的演示文件，如 index.html, main.js, 和 style.css。
• src/: 包含项目的主要源代码。
  • models/: 存放预训练的模型文件。
  • tokenizers/: 存放用于文本处理的 tokenizer 文件。
  • index.js: 项目的入口文件。
  • utils.js: 包含一些辅助函数。
• Makefile: 用于构建和部署项目的 Makefile。
• package.json: 项目的依赖和脚本配置文件。
• README.md: 项目的说明文档。

2. 项目的启动文件介绍

项目的启动文件是 src/index.js。该文件主要负责初始化模型和 tokenizer，并提供接口供其他模块调用。

// src/index.js
import { AutoTokenizer, AutoModelForSeq2SeqLM } from './tokenizers';

async function initialize() {
    const tokenizer = await AutoTokenizer.fromPretrained("t5-small", "/models");
    const model = await AutoModelForSeq2SeqLM.fromPretrained("t5-small", "/models");
    return { tokenizer, model };
}

export { initialize };

3. 项目的配置文件介绍

项目的配置文件是 package.json。该文件包含了项目的依赖、脚本和其他配置信息。

{
  "name": "transformers-js",
  "version": "1.0.0",
  "description": "Browser-compatible JS library for running language models",
  "main": "src/index.js",
  "scripts": {
    "start": "node src/index.js",
    "build": "make build",
    "test": "jest"
  },
  "dependencies": {
    "tensorflow": "^3.8.0",
    "huggingface": "^1.2.0"
  },
  "devDependencies": {
    "jest": "^26.6.3"
  }
}

• name: 项目名称。
• version: 项目版本。
• description: 项目描述。
• main: 项目的入口文件。
• scripts: 包含一些常用的脚本命令，如 start, build, 和 test。
• dependencies: 项目的运行时依赖。
• devDependencies: 项目的开发依赖。

transformers-jsBrowser-compatible JS library for running language models项目地址:https://gitcode.com/gh_mirrors/tr/transformers-js