菜鸡小白预训练大模型“BERT4ETH”（基于pytorch框架，针对以太坊（ETH）数据定制化的BERT模型版本）

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

---

前言

组内项目，需要跑一个github代码

旧版本：TensorFlow框架
新版本：pytorch架构

（PS：本项目有两个版本，旧的版本为：https://github.com/git-disl/BERT4ETH。是TensorFlow框架的
新版本是：https://github.com/Bayi-Hu/BERT4ETH_PyTorch。是基于pytorch框架的）

一、BERT4ETH是什么？

用于检测以太坊欺诈的一个bert模型
BERT（Bidirectional Encoder Representations from Transformers）是一种预训练的深度学习模型，广泛用于自然语言处理任务。在这种情况下，BERT4ETH可能是为了处理与以太坊区块链相关的数据，如交易、智能合约、账户活动等，被特别设计或调整的BERT模型。

二、使用步骤

1.手动下载数据集到模型中

三、遇到的问题

1、找不到启动文件

项目中是没有src这个文件夹的，最后在pretrain文件家里找到了启动文件。以后要熟悉各种文件夹的命名。通过文件夹的名字可以推断出这个文件夹可能放的是什么文件

2.预训练模型

一开始运行这个命令时报错，说有一个包没装好。用conda命令顺利安装。
之后想找代码中，训练的一些参数设置（比如要训练多少轮）。找得很困难，又是在同学的帮助下才找到。
我根据回忆，大概记录一些看代码的过程：

first：

在预训练的代码中找到执行文件。

second：

一开始点了这个train，跑到train,py里去了，并没有找到对应参数。

之后点击了这个arg

跳转到了config.py 就找到了

这个config.py这个文件就应该是专门用于存放参数了。在这个config文件中，可以看到上面有很多的其他参数。还有一些用于打印的命令行

third

在输出表示界面的代码中，GitHub原文中的代码是需要自己补全的

我是第一次遇到这种情况，后面在文件中找了一下。找到了带.pth后缀的文件

然后下一步也是需要自己补全代码的，而且补全的那个东西，是经过刚刚“输出表示生成的文件夹”。


最后得出来的结果为：
（这个是第一次得效果很差）

（这个是最后几次的，效果比较好）

fourth

在这个命令行中，我在文件中没找到run_dean_ENS.py这个执行文件。就没有完成这一步

四、模型参数查看（师兄问模型参数）

这个我也蒙了，根本不知道在哪看，甚至不知道师兄问的是什么。


师兄问模型保存为了什么格式，我找不到。后面百度了一下。发现“通常，在PyTorch中，预训练的模型会保存为**.pt或.pth格式的文件**，而在TensorFlow或Keras中，则可能保存为.h5或SavedModel格式。这些文件包含了模型的结构和权重。”
最后和同学讨论发现， 项目中没有保存模型文件，而是直接调用了pytorch中的bert模型，然后对Bert模型进行改写。
“PyTorch 通过其 transformers 库提供了预训练的BERT模型以及许多其他的预训练模型。”


上面图片中黄框的文件，就是把每一轮bert的参数保存了下来

.pth文件的使用说明：

总结

本次跑这个项目总体来说还是比较顺利的。归功于项目本身代码比较好（个人感觉）和同学师兄的帮助。感觉还得多熟悉大模型的工程文件。进一步了解框架