服务器上训练模型操作全过程

运行服务器

  1. 用校园网登录堡垒机
    堡垒机登录界面

  2. 工具安装
    在这里插入图片描述
    安装单点登录器、Xshell、XftpXshell和Xftp的下载链接,所有工具的安装路径不要有中文目录。

  3. 选择服务器
    在这里插入图片描述
    依次点击运维、主机运维、主机(未分组)、访问方式(选择本地)

  4. 登录服务器
    在这里插入图片描述
    输入服务器的账号、密码,点击确定。
    注意:该账号密码为服务器的账号密码,与堡垒机登录的账号密码不同,网页自动填充的密码为堡垒机的登录密码,需要重新输入密码

  5. 本地连接服务器
    在这里插入图片描述
    点击打开,稍等……
    Xshell服务器连接成功
    本地会自动打开Xshell,显示如图即为连接成功
    注:如果打开Xshell后,需要输入邮箱密码,是因为免费试用过期,可以登录邮箱密码进行激活。如果进入命令行界面后,需要输入密码,是因为步骤4中登录服务器的密码输出错误。

  6. 打开Xftp
    在这里插入图片描述
    点击Xftp图标
    Xftp界面
    在Xftp界面可以实现本地和服务器之间文件传输。
    至此,服务器登录完成。

在服务器上训练模型

  1. 进入虚拟环境
    在这里插入图片描述
    所有的命令都是在Xshell界面进行输入。
    自己新建虚拟环境,不要更改已有虚拟环境的配置,更不要删除已有的虚拟环境!!!

  2. 训练模型
    在这里插入图片描述
    python+训练模型py文件路径

  3. 模型预测
    在这里插入图片描述
    python+预测模型py文件路径

注:模型的训练过程时间较长,避免在在训练过程中与服务器意外断开连接,可以使用tmux,在tmux界面即使断开与服务器的连接,代码运行也不会中断。
tmux教程
模型训练完成,及时关闭进程,不要占用服务器资源。

### 如何在GROBID中训练自定义模型 #### 准备环境 为了能够在 GROBID 中训练自定义模型,首先需要准备合适的开发环境。这通常涉及到安装 Java 开发工具包 (JDK),因为 GROBID 是基于 Java 的项目。此外,还需要设置 Maven 构建工具来管理依赖项。 #### 获取并配置 GROBID 源码 获取最新的 GROBID 源代码可以通过克隆官方 GitHub 仓库完成。之后,在本地环境中构建该项目以确保一切正常工作。对于特定版本控制和分支的选择,则取决于当前的需求以及所使用的数据集特性[^1]。 #### 数据预处理 针对要训练的文档类型,收集足够的标注样本是非常重要的一步。这些样本文档应该按照 GROBID 所支持的标准格式进行标记,比如 TEI XML。创建一个清晰的数据结构有助于后续步骤中的数据加载过程更加顺畅[^5]。 #### 修改配置文件 进入 `grobid-home/config` 文件夹内找到相应的模板文件用于调整参数设定。这里可以指定输入/输出路径、特征提取器选项以及其他影响模型性能的关键因素。特别是当引入新的实体类别时,可能还需更新词典列表或正则表达式规则以便更好地识别目标模式[^4]。 #### 编写训练脚本 编写 shell 脚本来简化重复性的命令执行操作。此脚本应能自动下载必要的资源(如果适用),启动服务器实例,并提交作业给它去处理训练请求。下面是一个简单的例子: ```bash #!/bin/bash # 启动 grobid 服务 cd /path/to/grobid && mvn clean install exec:exec -DskipTests=true & sleep 60s # 给予足够时间让服务完全初始化 # 提交训练任务 java -jar target/training.jar \ --input=/data/custom_dataset \ --output=/models/new_trained_model \ --modelType=custom_entity_recognition # 关闭 grobid 服务 pkill -f "org.grobid.service.GrobidRestService" ``` #### 训练与评估 一旦上述准备工作就绪,就可以正式开始训练流程了。通过 REST API 或者直接调用 GrobidTraining 类来进行批量学习。期间要注意监控日志输出,及时发现潜在问题所在。完成后记得保存最佳权重作为最终成果的一部分[^3]。 #### 测试新模型 最后一步是对刚训练出来的模型做全面测试,验证其泛化能力是否满足预期效果。挑选一些未见过的真实案例参与进来,观察预测精度的变化趋势。必要的话还可以进一步微调超参直至达到满意水平为止[^2]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值