- 博客(4)
- 收藏
- 关注
RSS订阅原创 BertGCN的fastNLP实现
目的本文主要介绍如何实现fastNLP 来复现今年发表在顶会的一篇论文BertGCN: Transductive Text Classification by Combining GCN and BERT。FastNLP配置本文采用的fastNLP版本号为0.6.0，可采用一下命令来安装pip install -b dev https://github.com/fastnlp/fastNLP.gitpython setup.py buildpython setup.py install数据预
2022-02-25 14:00:00
1707
8
原创 比tqdm更好用的进度条工具rich.progress，你值得拥有
在开发fastnlp过程遇到一个需求：嵌套使用tdqm进度条，能够在任意位置使用print而不发生冲突。为解决print打印内容乱序的问题，我们将内置的write函数置换为tqdm.write函数。import sysimport timeimport contextlibfrom tqdm import tqdmclass DummyFile: def __init__(self, file): if file is None: fil
2022-02-24 19:39:54
3195
原创 python 多进程下tqdm如何显示进度条
python 多进程下tqdm如何显示进度条fastnlp dataset的apply方法增加多进程处理功能时遇见这个问题：多进程下如何显示所有子进程的进度条，主进程显示总进度条。解决方法解决思路主要思路是采用管道通信(pipe)功能来实现子进程和主进程的交流。因为使用multiprocess开启进程池后主进程后阻塞，所以具体实现是在主进程开辟一个线程来不断收集子进程的处理进程并显示。这里有个小知识点是multiprocessing和multiprocess的
2022-01-24 23:21:06
2175
原创 python tqdm与print的冲突及解决方法
python tqdm与print的冲突及解决方法问题在开发fastnlp的过程中遇到一下问题：python中使用tqdm展示进度条，且同时打印一些输出时候会出现
2022-01-06 13:10:35
4815
7
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人