- 博客(23)
- 收藏
- 关注
RSS订阅原创 docker的使用记录
1、镜像的加载。区分docker load和docker import的区别，另外容器是在镜像的基础上建立的，一个镜像可以建立很多容器。2、权限问题。dial unix /var/run/docker.sock: connect: permission denied。找了很多种方法，加入用户组的方法效果不大，最后直接用这个方法中的第三条改权限了，问题解决。比较奇怪，在服务器上就是加用户组解决的，但是在自己的电脑上就不行，只能chmod改权限有用。3、GPU调用问题。用docker run -it --g
2022-03-30 20:07:09
304
原创 2021-11-02
struct.error: ‘i’ format requires -2147483648 <= number <= 2147483647参照github作者的改动，将相应文件改动就可以链接
2021-11-02 17:31:25
187
原创 pytorch的spectral_norm的使用
利用pytorch自带的频谱归一化函数，给设定好的网络进行频谱归一化。主要用于生成对抗网络的鉴别器，效果还是很明显的。import torchimport torch.nn as nn class TestModule(nn.Module): def __init__(self): super(TestModule,self).__init__() self.layer1 = nn.Conv2d(16,32,3,1) self.layer2 =
2021-04-11 11:22:27
10676
原创 pytorch-lightning注意事项
1、如果在代码中写了self.log(your_metric_dict, on_steps=True, on_epoch=True)那么monitor要写成monitor='val_loss_epoch'要不然会根据最后一步的验证尺度保存模型，不会根据整个周期的验证尺度保存模型，切记！！！！！！！！！！！！！！2、这种形式可以加载多个信息values = {'val_loss': loss, 'val_cer': cer_avg}self.log_dict(values, logger=T
2020-12-12 10:38:03
2105
原创 CTC在语音识别上的应用，loss为nan的处理
ctc在pytorch1.2以上的版本中有集成好的是实现。torch.nn.functional.ctc_loss原理不再介绍，有很多开源的实现。主要说一下自己遇到的问题。在语音上应用时，会遇到loss为nan的情况，如果代码在交叉熵损失或者其他损失的情况下可以正常跑，说明数据没问题。主要原因出在对齐上。在一个batch中一条发音可能比较短，对应的目标文本也比较短，ctc就无法对齐，就会出现loss为Inf,后面就体现为nan。网上找了很多解决方法，都是针对数据的，但是其实torch.nn.fu
2020-12-02 14:59:40
1646
3
原创 argparse模块的使用
血的教训，因为这个小错误，调了将近三个小时！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！在不同的文件中调用argparse模块时一定要一致。我的情况，我的argparse模块保存在constant.py中。写了两个模型，asr是已经有的，把asr复制了一份，要改成mt，结果在模型中有两个文件调用路径还是原来的asr的constant的，就会出错，未识别的参数。个人情况不同，写的比较乱，仅供个人记录使用。...
2020-11-03 01:02:01
88
原创 Pytorch的ctc解码实现
在github上看到一个很好的ctc解码实现，暂时还没用。附上链接：pytorch的ctc解码实现作者在readme里对代码的参数的介绍的很清楚，就不搬运翻译了，可以直接看。在pytorch上CTC的安装:pytorch上CTC安装...
2020-11-02 10:49:16
2195
原创 服务器使用
vnc连接服务器时黑屏，是因为anaconda冲突了。解决办法不过这个注释的有点问题，可以用下面的方法注释shell多行注释之前注释错了，实验室的博士师兄指出来了，要不然整不明白。
2020-10-31 11:12:03
134
原创 数据处理
kaldi处理数据时出现这个问题text file ‘***’ contains disallowed UTF-8 whitespace character(s)原因有两个一个是多了/r，一个是多了/xa0.把出错的那一行打印出来，然后用下面的代码查看字符temp = open('error.txt', 'r')r.readline()就可以看到除了\n以外，多出的字符，删掉即可。在服务器上处理数据出错，这里记录一下。用sed去除重复空格和制表符，只保留一个，网上很多方法是错的，根本没办法
2020-10-30 09:15:34
194
原创 pytorch中多GPU的batch_size问题
KeyError: Caught KeyError in replica 0 device, 或者ValueError: Caught ValueError in replica 0 on device 0.都是因为batch_size没有设好。在端到端的语音中，一个语句就是一个输入，total即总的输入就是text中的行数，用wc -l text，就可以看到了。多个gpu训练时，每个gpu上的负载时batch_size / n_gpu训练迭代的次数为total / batch_size但是肯定会有
2020-10-17 21:40:40
13418
3
原创 StopIteration: Caught StopIteration in replica 0 on device 0
在对调用pytorch_pretrained_bert时，如果用多个GPU出现StopIteration: Caught StopIteration in replica 0 on device 0.具体如下。File "/home/yuangen_yu/CLUE/baselines/models_pytorch/classifier_pytorch/run_classifier.py", line 569, inmain()File "/home/yuangen_yu/CLUE/baselines/
2020-10-17 01:06:26
4924
8
转载 Pytorch的RuntimeError: one of the variables needed for gradient computation has been modified by an
Pytorch的RuntimeError: one of the variables needed for gradient computation has been modified by an这个链接解释的很清楚，出错是因为求导的过程中用到的值被修改了，所以报错，如果没用到是不报错的。好比下面的代码。temp1对temp求导结果是2*temp。如果最后修改temp的值，temp[0]=0,就会报错。import torchx = torch.tensor([3.0, 2.0], requires_
2020-10-12 16:16:15
1164
原创 2020-10-07
端到端中的问题记录：2020.10.7sys.stdout = io.TextIOWrapper(sys.stdout.buffer,encoding=‘utf8’)目的是为了改变Print的编码输出，解码print输出中文是乱码的问题。此行代码的详细介绍
2020-10-07 16:28:38
221
原创 2020-09-18
python的subprocess模块在python文件中想调用spm_encode命令对一个句子进行分词，就需要使用subprocess模块在python中执行shell命令。但是网上其他的给出的都是传递文件的，或者把字符串传递给cmd的。弄了一晚上，在百度问答上一个老哥给出了正解，很简单，也是用占位符。我的使用如下：subprocess.run(“echo %s | spm_encode --model=‘bpe_model.model’” %sentence, shell=True)如果是对文件
2020-09-18 21:47:11
237
原创 2020-09-17
语音翻译实验记录1、以收集的TED数据直接做端到端的语音翻译时，BELU值只有1点几分，因为两种语言的差别太大了，网络学习不到东西，很难将两种语言对齐。用一个训练好的语音识别系统对编码层初始化以后，可以提升到12分以上。...
2020-09-17 09:02:27
72
原创 2020-09-17
语音识别实验的坑1、中文作为目标语言时，如果文本是以单字空格分隔的，如中国，分割为中 国。那么在处理输入时，可以将空格去掉，然后当做一个字符串，根据字典做映射。但是如果是英文，或者以BPE分词后的中文（英文）作为识别单元，那么不能简单的去掉空格，当做字符串处理。要以空格为分割间隔将输出分割成一个列表，然后做映射，即使用split()函数。...
2020-09-17 09:00:06
52
转载 卷积中的Depthwise和Pointwise
卷积中的Depthwise和Pointwise](https://blog.csdn.net/tintinetmilou/article/details/81607721)看到论文中提到了，所以搜了一下，这个博客讲的很清楚。
2020-07-07 08:41:22
436
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人