目录
GitHub地址:GitHub - bbycroft/llm-viz: 3D Visualization of an GPT-style LLM
在线体验地址:LLM Visualization
LLM可视化
该项目展示了一个GPT风格网络的工作实现的3D模型。也就是说,这是OpenAI的GPT-2、GPT-3(以及可能的GPT-4)中使用的网络拓扑结构。
显示的第一个具有工作权重的网络是一个微小的网络,用于对字母A、B和C的小列表进行排序。这是Andrej Karpathy的minGPT实现的演示示例模型。
渲染器还支持可视化任意大小的网络,并与较小的gpt2大小一起工作,尽管权重没有被下载(因为它是数百MB)