gpt-4chan 运行笔记

GPT-4chan是一个脏话回帖机器人，由著名的油管主播yk编写，在某reddit频道的大量帖子与回复上训练。接下来，本文会找到GPT-4chan的模型文件，并用它运行一些样例。

下载模型

GPT-4chan的项目页面位于hugginface的ykilcher/gpt-4chan，但公告显示，由于违反互联网协议，模型的下载已被禁用。笔者探索了两种下载模型文件的方法：搜索网盘分享，或搜索网友提供的git仓库。

确定下载目标

参考huggingface的说明文档：

1. serialization的serialization-best-practices一章
2. model_sharing

忽略推断步骤，直接说明结论。你需要在某个文件夹里准备好pytorch_model.bin和config.json这两个文件，其中前者是模型权重，后者是模型配置。

下载途径1 网盘分享

本人在模型的讨论区中看到habdhzim的如下回答。可见，该网友将CPU与GPU版本的模型文件都上传到了网盘archive.org。

Meanwhile, it is possible to download the model by torrent.
CPU version: https://archive.org/details/gpt4chan_model
GPU version: https://archive.org/details/gpt4chan_model_float16

点击GPU版本的链接，会进到文件主页，我们要下载的文件是pytorch_model.bin

点击"SHOW ALL"跳转到文件详情，再点击.bin文件下载之。不建议通过.torrent文件下载，本人试过速度较慢。

如果你试图让huggingface直接加载这个.bin文件，会得到报错"缺少config.json文件"，因为完整的模型文件夹应当包含.bin和config.json两个文件。

下载途径2 git仓库

另一个可能的下载链接是Aspie96/gpt-4chan-model，它包含了模型的.bin文件以及config.json文件。

验证文件完整性

担心模型被篡改，可以下载个md5校验器，处理.bin文件得到md5值，并到huggingface的项目页面ykilcher/gpt-4chan找到作者发布的md5校验值，将两者比较：

pytorch_model.bin float32 : 833c1dc19b7450e4e559a9917b7d076a
pytorch_model.bin float16 : db3105866c9563b26f7399fafc00bb4b

笔者下载的模型文件对应float16那行的md5值，笔者校验过是相等的。

fine tune机制

GPT-4chan是如何在GPT-J的基础上进一步fine tune(微调)的？我们要了解作者是如何构建fine tune训练集的，这样才能自己构造样例。

根据