复现数据增强实验（2）--Contextual Augmentation: Data Augmentation by Words with Paradigmatic Relations

最新推荐文章于 2024-08-12 21:37:19 发布
最新推荐文章于 2024-08-12 21:37:19 发布
阅读量764 收藏
点赞数
分类专栏： 数据增广 文章标签： data augmentation
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/NANA170110/article/details/99741138
版权

上一篇记录到第四步，接下来记录接下来的几步，目前为止没有遇到问题。

（5） # train a bi-directional language model
命令：python -u train.py -g 0 --train datasets/wikitext-103-raw/spacy_wikitext-103-raw.train --valid datasets/wikitext-103-raw/spacy_wikitext-103-raw.valid --vocab datasets/wikitext-103-raw/spacy_wikitext-103-raw.train.vocab.t50 -u 1024 --layer 1 --dropout 0.1 --batchsize 64 --out trained_bilm

提示：提示有错误。

Traceback (most recent call last):

  File "train.py", line 9, in <module>

    import chain_utils

  File "/dnn4_added/wanglina/contextual_augmentation-master/chain_utils.py", line 7, in <module>

    import progressbar

ModuleNotFoundError: No module named 'progressbar'

解决：没有progressbar模块，需安装。

$ pip install progressbar

Collecting progressbar

  Downloading https://files.pythonhosted.org/packages/a3/a6/b8e451f6cff1c99b4747a2f7235aa904d2d49e8e1464e0b798272aa84358/progressbar-2.5.tar.gz

Building wheels for collected packages: progressbar

  Building wheel for progressbar (setup.py) ... done

  Stored in directory: /sunj/wanglina/.cache/pip/wheels/c0/e9/6b/ea01090205e285175842339aa3b491adeb4015206cda272ff0

Successfully built progressbar

Installing collected packages: progressbar

Successfully installed progressbar-2.5

 继续运行，又有错误。

提示：

Traceback (most recent call last):

  File "train.py", line 13, in <module>

    from text_classification import text_datasets

  File "/dnn4_added/wanglina/contextual_augmentation-master/text_classification/text_datasets.py", line 13, in <module>

    from nlp_utils import make_vocab

ModuleNotFoundError: No module named 'nlp_utils'

解决：因为没有nlp_utils模块，需安装。

$ pip install nlp_utils

Collecting nlp_utils

  Downloading https://files.pythonhosted.org/packages/4b/c6/d73700ba68b7d894345334d37e3e2d27028c38ae1fa7c61e8c8b9a368c5b/nlp_utils-0.1-py3-none-any.whl

Collecting tensorflow (from nlp_utils)

  Downloading https://files.pythonhosted.org/packages/de/f0/96fb2e0412ae9692dbf400e5b04432885f677ad6241c088ccc5fe7724d69/tensorflow-1.14.0-cp36-cp36m-manylinux1_x86_64.whl (109.2MB)

    |████████████████████████████████| 109.2MB 28kB/s

Collecting nltk (from nlp_utils)

  Downloading https://files.pythonhosted.org/packages/87/16/4d247e27c55a7b6412e7c4c86f2500ae61afcbf5932b9e3491f8462f8d9e/nltk-3.4.4.zip (1.5MB)

     |████████████████████████████████| 1.5MB 1.2MB/s

  Ignoring singledispatch: markers 'python_version < "3.4"' don't match your environment

Requirement already satisfied: numpy in /*****************/python-3.6/lib/python3.6/site-packages (from nlp_utils) (1.16.4)

Requirement already satisfied: absl-py>=0.7.0 in //*****************/python-3.6/lib/python3.6/site-packages (from tensorflow->nlp_utils) (0.7.1)

Requirement already satisfied: gast>=0.2.0 in /*****************/python-3.6/lib/python3.6/site-packages (from tensorflow->nlp_utils) (0.2.2)

Collecting google-pasta>=0.1.6 (from tensorflow->nlp_utils)

  Downloading https://files.pythonhosted.org/packages/d0/33/376510eb8d6246f3c30545f416b2263eee461e40940c2a4413c711bdf62d/google_pasta-0.1.7-py3-none-any.whl (52kB)

     |████████████████████████████████| 61kB 315kB/s

Requirement already satisfied: wheel>=0.26 in /*****************/python-3.6/lib/python3.6/site-packages (from tensorflow->nlp_utils) (0.33.4)

Requirement already satisfied: protobuf>=3.6.1 in /*****************//python-3.6/lib/python3.6/site-packages (from tensorflow->nlp_utils) (3.7.1)

Requirement already satisfied: six>=1.10.0 in //*****************/python-3.6/lib/python3.6/site-packages (from tensorflow->nlp_utils) (1.12.0)

Requirement already satisfied: termcolor>=1.1.0 in /*****************/python-3.6/lib/python3.6/site-packages (from tensorflow->nlp_utils) (1.1.0)

Requirement already satisfied: grpcio>=1.8.6 in /*****************/python-3.6/lib/python3.6/site-packages (from tensorflow->nlp_utils) (1.22.0)

Requirement already satisfied: keras-applications>=1.0.6 in /*****************/python-3.6/lib/python3.6/site-packages (from tensorflow->nlp_utils) (1.0.8)

Requirement already satisfied: keras-preprocessing>=1.0.5 in /*****************/python-3.6/lib/python3.6/site-packages (from tensorflow->nlp_utils) (1.1.0)

Requirement already satisfied: astor>=0.6.0 in /*****************/python-3.6/lib/python3.6/site-packages (from tensorflow->nlp_utils) (0.8.0)

Collecting wrapt>=1.11.1 (from tensorflow->nlp_utils)

  Downloading https://files.pythonhosted.org/packages/23/84/323c2415280bc4fc880ac5050dddfb3c8062c2552b34c2e512eb4aa68f79/wrapt-1.11.2.tar.gz

Collecting tensorflow-estimator<1.15.0rc0,>=1.14.0rc0 (from tensorflow->nlp_utils)

  Downloading https://files.pythonhosted.org/packages/3c/d5/21860a5b11caf0678fbc8319341b0ae21a07156911132e0e71bffed0510d/tensorflow_estimator-1.14.0-py2.py3-none-any.whl (488kB)

     |████████████████████████████████| 491kB 1.1MB/s

Collecting tensorboard<1.15.0,>=1.14.0 (from tensorflow->nlp_utils)

  Downloading https://files.pythonhosted.org/packages/91/2d/2ed263449a078cd9c8a9ba50ebd50123adf1f8cfbea1492f9084169b89d9/tensorboard-1.14.0-py3-none-any.whl (3.1MB)

     |████████████████████████████████| 3.2MB 1.0MB/s

Requirement already satisfied: setuptools in //*****************/python-3.6/lib/python3.6/site-packages (from protobuf>=3.6.1->tensorflow->nlp_utils) (28.8.0)

Requirement already satisfied: h5py in /*****************/python-3.6/lib/python3.6/site-packages (from keras-applications>=1.0.6->tensorflow->nlp_utils) (2.9.0)

Requirement already satisfied: werkzeug>=0.11.15 in /*****************/python-3.6/lib/python3.6/site-packages (from tensorboard<1.15.0,>=1.14.0->tensorflow->nlp_utils) (0.15.5)

Requirement already satisfied: markdown>=2.6.8 in /*****************//python-3.6/lib/python3.6/site-packages (from tensorboard<1.15.0,>=1.14.0->tensorflow->nlp_utils) (3.1.1)

Building wheels for collected packages: nltk, wrapt

  Building wheel for nltk (setup.py) ... done

  Stored in directory: /sunj/wanglina/.cache/pip/wheels/41/c8/31/48ace4468e236e0e8435f30d33e43df48594e4d53e367cf061

  Building wheel for wrapt (setup.py) ... done

  Stored in directory: /sunj/wanglina/.cache/pip/wheels/d7/de/2e/efa132238792efb6459a96e85916ef8597fcb3d2ae51590dfd

Successfully built nltk wrapt

ERROR: nltk 3.4.4 requires singledispatch, which is not installed.

ERROR: tensorflow-gpu 1.11.0 has requirement tensorboard<1.12.0,>=1.11.0, but you'll have tensorboard 1.14.0 which is incompatible.

ERROR: tensorboard 1.14.0 has requirement setuptools>=41.0.0, but you'll have setuptools 28.8.0 which is incompatible.

Installing collected packages: google-pasta, wrapt, tensorflow-estimator, tensorboard, tensorflow, nltk, nlp-utils

  Found existing installation: tensorboard 1.11.0

    Uninstalling tensorboard-1.11.0:

      Successfully uninstalled tensorboard-1.11.0

Successfully installed google-pasta-0.1.7 nlp-utils-0.1 nltk-3.4.4 tensorboard-1.14.0 tensorflow-1.14.0 tensorflow-estimator-1.14.0 wrapt-1.11.2

WARNING: You are using pip version 19.1.1, however version 19.2.1 is available.

You should consider upgrading via the 'pip install --upgrade pip' command.

提示：

Traceback (most recent call last):

  File "train.py", line 13, in <module>

    from text_classification import text_datasets

  File "/dnn4_added/wanglina/contextual_augmentation-master/text_classification/text_datasets.py", line 13, in <module>

    from nlp_utils import make_vocab

ImportError: cannot import name 'make_vocab'

原因：查看是否有对应文件，import nlp_utils;print(nlp_utils) ， nlp_utils 中没有make_vocab文件。

解决：将text_classification/nlp_utils.py文件拷贝到/wln_install/python-3.6/lib/python3.6/site-packages/nlp_utils.py

继续运行：python -u train.py -g 0 --train datasets/wikitext-103-raw/spacy_wikitext-103-raw.train --valid datasets/wikitext-103-raw/spacy_wikitext-103-raw.valid --vocab datasets/wikitext-103-raw/spacy_wikitext-103-raw.train.vocab.t50 -u 1024 --layer 1 --dropout 0.1 --batchsize 64 --out trained_bilm

报错：

{

  "gpu": 0,

  "out": "trained_bilm",

  "batchsize": 64,

  "epoch": 5,

  "gradclip": 10,

  "lr": 0.0001,

  "unit": 1024,

  "layer": 1,

  "dropout": 0.1,

  "vocab": "datasets/wikitext-103-raw/spacy_wikitext-103-raw.train.vocab.t50",

  "train_path": "datasets/wikitext-103-raw/spacy_wikitext-103-raw.train",

  "valid_path": "datasets/wikitext-103-raw/spacy_wikitext-103-raw.valid",

  "resume": null,

  "labeled_dataset": null,

  "no_label": false,

  "validation": false

}

Traceback (most recent call last):

  File "train.py", line 168, in <module>

    main()

  File "train.py", line 75, in main

    args.train_path, vocab, chain_length=1)

  File "/dnn4_added/wanglina/contextual_augmentation-master/chain_utils.py", line 87, in __init__

    get_last_only=get_last_only)

  File "/dnn4_added/wanglina/contextual_augmentation-master/chain_utils.py", line 63, in make_chain_dataset

    max_value=n_lines):

TypeError: __call__() got an unexpected keyword argument 'max_value'

原因：这里是粘贴的一个同学的答案，感谢~ 

这是progressbar这个组件的问题。text prograss bar 就是一个进度条。

max_value代表进度条的长度，在一些情况下，有的人说，把参数名换成maxval吧。

但深入源码，大伙儿会发现，根本不是换成maxval的问题，更新了也不顶用。

这个时候呢，大伙可以尝试重装一下progressbar最新版。

但实话说，我不建议这样。我推荐一个新组件。

from tqdm import tqdm

换一个进度条工具。

 for line in tqdm(io.open(path, encoding='utf-8'),total=n_lines):

更改一下这一行的代码，就可以解决了。

解决：修改chain_utils.py中的相关代码，改为以上描述中的代码格式。

加上：from tqdm import tqdm

修改前：for line in bar(io.open(path, encoding='utf-8'),max_value=n_lines):

修改后：for line in tqdm(io.open(path, encoding='utf-8'),total=n_lines):

再次运行：

python -u train.py -g 0 --train datasets/wikitext-103-raw/spacy_wikitext-103-raw.train --valid datasets/wikitext-103-raw/spacy_wikitext-103-raw.valid --vocab datasets/wikitext-103-raw/spacy_wikitext-103-raw.train.vocab.t50 -u 1024 --layer 1 --dropout 0.1 --batchsize 64 --out trained_bilm

提示：

{

  "gpu": 0,

  "out": "trained_bilm",

  "batchsize": 64,

  "epoch": 5,

  "gradclip": 10,

  "lr": 0.0001,

  "unit": 1024,

  "layer": 1,

  "dropout": 0.1,

  "vocab": "datasets/wikitext-103-raw/spacy_wikitext-103-raw.train.vocab.t50",

  "train_path": "datasets/wikitext-103-raw/spacy_wikitext-103-raw.train",

  "valid_path": "datasets/wikitext-103-raw/spacy_wikitext-103-raw.valid",

  "resume": null,

  "labeled_dataset": null,

  "no_label": false,

  "validation": false

}

100%|???????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????| 5407481/5407481 [01:24<00:00, 63936.20it/s]

100%|???????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????| 11415/11415 [00:00<00:00, 59487.21it/s]

#train = 4771160

#valid = 10116

#vocab = 49873

74549 iters per epoch

log and eval are scheduled at every (745, 'iteration') and (37250, 'iteration')

iter/epoch 74549

Training start

epoch       iteration   main/perp   validation/main/perp  elapsed_time

0           745         302.07                            16118.7      

0           1490        232.779                           16573.7      

0           2235        170.714                           17027.5      

0           2980        127.466                           17481.7      

0           3725        120.539                           17934.5      

0           4470        125.575                           18387.5      

0           5215        104.433                           18839.6      

0           5960        84.3001                           19294.6      

0           6705        79.2073                           19749.8      

0           7450        71.7358                           20203.8      

0           8195        77.5412                           20656.9      

0           8940        54.9137                           21106.4      

0           9685        70.0783                           21561.3      

0           10430       67.5645                           22012.1      

0           11175       69.1995                           22465.2

很长（不一一粘贴了）…………

total [###################################...............] 71.13%

this epoch [###########################.......................] 55.67%

    265150 iter, 3 epoch / 5 epochs

4           371010      19.6101                           241281       

4           371755      14.3248                           241732       

4           372500      19.0776     16.5097               242210

 

双向语言模型训练完毕，耗时约三天。机器比较慢，作为初学者，时间代价太大了。。。。。。

下一篇更新接下来的步骤。

NA_QUEEN
关注
专栏目录
复现数据增强实验（1）--Contextual Augmentation: Data Augmentation by Words with Paradigmatic Relations
NANA170110的博客
08-19 1328
最开始知道题目中的论文，是看到BERT做数据增强的论文，Conditional BERT Contextual Augmentation，看到有同学分析的文章（见https://zhuanlan.zhihu.com/p/53141568），文章中提到了Kobayashi的这篇论文，刚好有开源的代码，作为英专毕业数年的不合格程序媛，自己写代码是不现实的，决定用开源的代码复现一下实验结果，记录以下作为...
NLP数据增强系列之《Contextual Augmentation: Data Augmentation by Words with Paradigmatic Relations》
qq_29134801的博客
06-06 1994
《Contextual Augmentation: Data Augmentation by Words with Paradigmatic Relations》 这篇论文，是一个用模型的方式来解决数据增强问题的大作，虽然是篇令人遗憾的短文。 先强调一遍：效果不好，效果不好，它是跑了五个数据集，然后平均了一下，选取了平均值作为比较对象。 但我是为了发论文，已经无所不用其极了，我打算复现它。 ...
自然语言处理（NLP）--数据增强
最新发布
GDHBFTGGG的博客
08-12 964
自然语言处理（NLP）中的数据增强旨在通过对文本数据进行各种变换，生成更多样化的训练样本，从而提高模型的泛化能力。与计算机视觉中的数据增强不同，NLP中的数据增强需要在保证语义一致性的前提下对文本进行改造。这种技术在数据量不足或多样性欠缺的情况下尤为重要，特别是对于小样本问题和低资源语言。
复现数据增强实验（3）--Contextual Augmentation: Data Augmentation by Words with Paradigmatic Relations
NANA170110的博客
08-19 651
上一篇记录到训练了双向语言模型，时间代价太高了。 已经花了很长时间了，索性把实验复现完毕。 （6）# construct vocabulary on classification datasets 命令：sh construct_vocab_classification.sh 结果：执行命令后，进程状态总是变成D+，无法运行 解决：用sudo权限执行命令。sudo s...
【解决错误】ModuleNotFoundError: No module named ‘progress‘
学习带来的快乐最持久~
09-20 3242
【代码】【解决错误】ModuleNotFoundError: No module named 'progress'
下载好PrgressBar，却仍显示ModuleNotFoundError: No module named ‘progressbar‘
qq_49171625的博客
09-17 503
删了装，装了删，用cmd的conda命令装不好，vscode的pip也不行，怎么回事。
netlify-plugin-contextual-env:一个Netlify插件，可基于分支或上下文覆盖ENV变量
05-17
netlify-plugin-contextual-env 该插件在构建时交换Netlify上的ENV变量。 运作方式如下： 假设您的API代码中有一个名为DATABASE_URL的ENV。 如果您使用此插件，则可以基于上下文或分支名称覆盖该值。 例如： ...
图像矩阵matlab代码-Sparse-Contextual-Activation:在TIP2016中发布的稀疏上下文激活（SCA）的matl
05-23
contextual activation for efficient visual re-ranking},  author={Bai, Song and Bai, Xiang}, journal={IEEE Transactions on Image Processing}, volume={25}, number={3}, pages={1056--1069}, year={2016}, ...
图像模糊matlab代码-Fuzzy-Contextual-Contrast-Enhancement_Code:该存储库为我们发表在IEEET
06-04
图像模糊matlab代码模糊上下文对比增强_代码 该存储库为我们发表在 IEEE Transactions on Image Processing, vol. 上的论文“模糊上下文对比度增强”提供了 matlab 代码。 26，没有。 4，第 1810-1819 页，2017 年 4...
AOT-GAN-for-Inpainting:用于高分辨率图像修补的AOT-GAN（图像修补的代码库）
04-07
title = {Aggregated Contextual Transformations for High-Resolution Image Inpainting}, booktitle = {Arxiv}, pages={-}, year = {2020} } 介绍 尽管取得了一些令人鼓舞的结果，但是对于现有的图像修复方法...
progressbar.progressbar报错，没有该模块
豆芽菜
03-29 1885
错误：progressbar.progressbar报错，没有该模块 原因：progressbar.progressbar是progressbar2的属性，需要安装progressbar2。如果已经安装progressbar2还出错，可能是版本太低，笔者是3.18.1出错，使用3.51版正常 解决： pip installprogressbar2==3.51 ...
python-progressbar：Progressbar 2-Python 2和Python 3的进度条-“ pip install progressbar2”
01-30
python-progressbar：Progressbar 2-Python 2和Python 3的进度条-“ pip install progressbar2”
采用fasttext对文本公告进行分类
07-08
该代码文件包括以下几个部分： （1）nlp_utils.py 数据功能处理函数 （2）fast_text_train.py 训练代码 （3）fast_text_predict.py 利用meta模型预测代码 （4）frozen_graph.py 模型固化及预测代码 （5）saves 训练得到的模型文件 （6）word2id_dict.txt、label2id_dict.txt 训练时得到的字典文件
Ubuntu系统yolov5训练报错集合
CVPR收割机的博客
07-15 2233
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 TypeError: can’t convert cuda:0 device type tensor to numpy. U
Python安装progressbar遇到的问题及解决
hhy_csdn的博客
05-03 1万+
progressbar可以显示程序运行的进度，我主要用在jupyter notebook里。 在用Anaconda安装progressbar的时候，出现了这样的错误，提示progressbar是Python2.6使用的，Python3.5装不了。 UnsatisfiableError: The following specifications were found to be in confl...
python模块以及导入出现ImportError: No module named 'xxx'问题
热门推荐
我的新博客
02-23 57万+
python中，每个py文件被称之为模块，每个具有__init__.py文件的目录被称为包。只要模 块或者包所在的目录在sys.path中，就可以使用import 模块或import 包来使用 如果你要使用的模块（py文件）和当前模块在同一目录，只要import相应的文件名就好，比 如在a.py中使用b.py：  import b  但是如果要import一个不同目录的文件(例如b.
Python 之 ImportError: No module named ***
稚枭天卓
08-06 8276
如果想使用非当前模块中的代码，需要使用Import，这个大家都知道。  如果你要使用的模块（py文件）和当前模块在同一目录，只要import相应的文件名就好，比如在a.py中使用b.py：  import b  但是如果要import一个不同目录的文件(例如b.py)该怎么做呢？  首先需要使用sys.path.append方法将b.py所在目录加入到搜素目录中。然后进
ProgressBar 进度条操作
柠檬绿@
09-06 772
package com.example.batactivity; import android.os.Bundle; import android.app.Activity; import android.view.View; import android.view.View.OnClickListener; import android.widget.Button; import
DAMA-CDGA模拟题解析：数据治理原则与实践
7. DMBOK2（Data Management Body of Knowledge）中，数据治理被认为是所有数据管理活动的指导原则，它不仅是一次性的任务，而是持续的过程，确保组织从数据中获取价值并管理风险，这对应的是选项C，即过程的持续...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值