【AI探索】Node.js打造大模型可视化：llm-viz，本地轻松查看模型结构

本文链接：https://blog.csdn.net/xziyuan/article/details/139818007

1，关于项目

https://www.bilibili.com/video/BV1eF4m1c7NC/

【ai技术】（1）：发现一个大模型可视化项目，使用nodejs编写的，llm-viz，可以本地运行展示大模型结构。

https://github.com/bbycroft/llm-viz

或者镜像：

https://gitcode.com/bbycroft/llm-viz.git

项目主要项目有：

LLM 可视化：运行推理的 GPT 风格 LLM 网络的 3D 互动模型。 [WIP] CPU 模拟：一个带有完整执行模型的 2D 数字电路图编辑器，展示了一个简单的基于 RISC-V 的 CPU。

LLM 可视化这个项目显示了一个 GPT 风格网络的工作实现的三维模型。也就是说，这是 OpenAI 的 GPT-2、GPT-3（或许还有 GPT-4）所使用的网络架构。

首次展示的带有工作权重的第一个网络是一个小的网络，它可以对 A、B 和 C 的较小列表进行排序。这是 Andrej Karpathy 的 minGPT 实现中的演示示例模型。

渲染器还支持可视化任意大小的网络，并且可以与较小的 gpt2 尺寸一起工作，尽管没有下载权重（它是数百兆字节）。

CPU 模拟（WIP；尚未公开！）这个项目运行 2D 电路图数字电路，并带有完整的编辑器。意图是添加多个教程，展示例如：

如何构建一个简单的 RISC-V CPU 构成部分到门级：指令解码、ALU、加法等更高层次的 CPU 概念，如各种级别的流水线、缓存等本地运行安装依赖项：yarn 启动开发服务器：yarn dev

2，本地运行

git clone https://gitcode.com/bbycroft/llm-viz.git

yarn install 
yarn run dev

3，关于大模型的结构：

https://zhuanlan.zhihu.com/p/665531989

ChatGLMForConditionalGeneration(
  (transformer): ChatGLMModel(
    (embedding): Embedding(
      (word_embeddings): Embedding(65024, 4096)
    )
    (rotary_pos_emb): RotaryEmbedding()
    (encoder): GLMTransformer(
      (layers): ModuleList(
        (0-27): 28 x GLMBlock(
          (input_layernorm): RMSNorm()
          (self_attention): SelfAttention(
            (query_key_value): Linear(in_features=4096, out_features=4608, bias=True)
            (core_attention): CoreAttention(
              (attention_dropout): Dropout(p=0.0, inplace=False)
            )
            (dense): Linear(in_features=4096, out_features=4096, bias=False)
          )
          (post_attention_layernorm): RMSNorm()
          (mlp): MLP(
            (dense_h_to_4h): Linear(in_features=4096, out_features=27392, bias=False)
            (dense_4h_to_h): Linear(in_features=13696, out_features=4096, bias=False)
          )
        )
      )
      (final_layernorm): RMSNorm()
    )
    (output_layer): Linear(in_features=4096, out_features=65024, bias=False)
  )
)