【工具】conda安装requirements.txt

1 conda 安装 requirements.txt

使用当前conda环境下的pip,安装requirements.txt。(最好指定当前环境下的python,不要直接pip install -r requirement.txt)

 /yourpath/anaconda3/envs/env_name/bin/python3.8 -m pip install -r requirement.txt 

2 conda 矫正 torch-cuda版本

根据自己cuda版本和pytorch版本,在下面链接中找到conda安装命令。(最好不要修改命令,最好不要少了 -c pytorch -c conda-forge)

conda安装匹配cuda版本pytorch命令

conda install pytorch==1.10.1 torchvision==0.11.2 torchaudio==0.10.1 cudatoolkit=11.3 -c pytorch -c conda-forge
  • 2
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【资源说明】 基于paddle框架实现的erniebert+2fc,erniebert+crf,lstmgrubilstmbigru+crf 的命名实体识别的实现源码+项目说明 paddle框架写的基于ERNIE的命名实体识别逻辑。主要包含**ernie+2fc**进行半指针半标注的ner识别(优点可以覆盖实体嵌套的情况),**ernie+crf**进行经典利用crf做最后一层进行ner识别。默认采用ernie+crf的方式训练,采用**ernie+2fc**可在pretrained_ner/config/train_conf.ini.设置use_crf = false。此外 差分学习率 动转静推理 等配置。具体使用那种模型在config中可以配置,一目了然。 **${project}/ner** paddle框架实现bilstm+crf,lstm+crf,bigru+crf,gru+crf等的命名实体识别逻辑。此外可进行随机词嵌入和预训练的词嵌入的配置选择。具体使用哪种模型在config中可以配置,一目了然。 运行步骤 1.**标签配置:** /input/label.txt中进行ner的类型配置,无论双指针还是crf方式进行ner都需要根据此文件进行数据预处理。**按照demo的格式改为自己的ner类型即可**。 2.**数据准备:** /input/train_data/train.txt中按照demo格式放入待训练的数据,两列,第一列为需要ner的文本,第二列为列表,列表的每个元素是每个实体的相关信息。**按照demo的格式改为自己的数据即可**。同理,可在dev_data和test_data增加验证和测试数据 3.**环境准备:** 按照requirments.txt安装相应的包即可,修改env.sh)配置cuda位置和使用的gpu卡,默认0卡。然后终端执行 `source env.sh ` 4.**训练模型:**`python3 src/train.py config/train_conf.ini`模型会保存在paddle_pretrain_ner/model/ernie_finetune(动态图模型)和paddle_pretrain_ner/model/static_ernie(静态图模型用于推理部署) 文件夹中(脚本自动创建文件夹) 5.**预测模型:**`cat input/test_data/test.txt | python src/predict.py config/train_conf.ini` 预测结果会直接打印到终端,可自行重定向到指定文件。 【备注】 1、该资源内项目代码都经过测试运行成功,功能ok的情况下才上传的,请放心下载使用! 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载使用,也适合小白学习进阶,当然也可作为毕设项目、课程设计、作业、项目初期立项演示等。 3、如果基础还行,也可在此代码基础上进行修改,以实现其他功能,也可直接用于毕设、课设、作业等。 欢迎下载,沟通交流,互相学习,共同进步!

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值