【李宏毅 DLHLP 深度学习人类语言处理 HW1】

每天都想躺平的大喵

已于 2023-08-01 15:23:35 修改

阅读量569

点赞数 1

分类专栏：李宏毅DLHLP 文章标签：深度学习人工智能

于 2023-07-27 14:31:24 首次发布

本文链接：https://blog.csdn.net/weixin_39925939/article/details/131939871

版权

李宏毅DLHLP 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

李宏毅 DLHLP 深度学习人类语言处理 HW1

相关资料
HW1
更多尝试

语音小白在网上没有找到这门课的作业分享，那就记录一下自己的作业吧。

HW1

1，Train a seq2seq attention-based ASR model. Paste the learning curve and alignment plot from tensorboard. Report the CER/WER of dev set and kaggle score of testing set. (2 points)

一开始的时候，成绩很烂啦，虽然alignment plot看起来还挺合理的，不过打不过baseline
在这里插入图片描述

提交到kaggle上，成绩是这样的，比baseline烂不少

2，Repeat 1. by training a joint CTC-attention ASR model (decoding with seq2seq decoder). Which model converges faster? Explain why. (2 points)

这里我用的CTC weight是0.3，可以看到joint CTC-attention ASR收敛更快，而且模型效果更好。网上搜了一下，大概原因是ASR中attention是非常非常灵活的，joint CTC-attention相当于在前期encoder部分就做了对齐，所以会更快收敛，效果也更好。
在这里插入图片描述

这个时候结果已经可以比baseline好了在这里插入图片描述 3，Use the model in 2. to decode only in CTC (ctc_weight=1.0). Report the CER/WER of dev set and kaggle score of testing set. Which model performs better in 1. 2. 3.? Explain why. (2 points)

1,2,3里面应该是2结果最好，因为2的decode有了CTC的帮助，但3中纯粹用CTC decode的话，就像老师在课上讲的，CTC不考虑前面的输出，效果不会特别好，往往需要后处理。

作业slide里面说CTC decode后的结果要再处理一下，但是我看结果没有什么重复和空的地方，应该是助教后期写好了吧，以下是eval的结果：
在这里插入图片描述

kaggle提交结果如下，还挺惊讶3的效果比1好。
在这里插入图片描述

4，Train an external language model. Use it to help the model in 1. to decode. Report the CER/WER of dev set and kaggle score of testing set. (2 points)

这里从libri里面copy decode example的时候，记得改一下max_step和valid_step，不然就会训练到地老天荒。我设成了 valid_step: 250，max_step: 20000，很快就训练完了。
decode的时候，我的lm weight取的0.3。最后的结果，只能说比1提升了一点吧，比不过CTC，离baseline还很远。
在这里插入图片描述

5，Try decoding the model in 4. with different beam size (e.g. 2, 5, 10, 20). Which beam size is the best? (2 points)

这里我只有beam size从2加到5的时候，private score有了一个相对明显的提升，beam size再提升的时候，效果就不再提升反而略微下降。用2中的model，尝试了beam size 5和10，不知道为什么，也没有见到模型效果的提升。

beam size 5
在这里插入图片描述

beam size 10
在这里插入图片描述

beam size 20

更多尝试

1, 加深encoder:4层LSTM

因为作业2中的模型效果最好(CTC joint 训练，decoder时只使用seq2seq，不使用CTC)，首先先尝试在这个基础上加深encoder重新训练，从一开始的2层LSTM加深为4层LSTM

  encoder:
    prenet: 'vgg'                         # 'vgg'/'cnn'/''
    # vgg: True                             # 4x reduction on time feature extraction
    module: 'LSTM'                        # 'LSTM'/'GRU'/'Transformer'
    bidirection: True
    dim: [512,512,512,512]
    dropout: [0,0,0,0]
    layer_norm: [False,False,False,False]
    proj: [True,True,True,True]      # Linear projection + Tanh after each rnn layer
    sample_rate: [1,1,1,1]
    sample_style: 'drop'                  # 'drop'/'concat'

最后效果如下（beam size = 10）：
提升不明显，看Loss，训练时收敛得慢一些
在这里插入图片描述

2, 加深encoder(4层LSTM)和加深decoder(2层LSTM)

在尝试1的基础上加深decoder，从原来的1层LSTM变为2层LSTM，效果有了一个明显的提升
在这里插入图片描述

3, cnn代替vgg

encoder中的vgg使用cnn，其余与2中相同
在这里插入图片描述

4, 再次加深decoder(4层LSTM)

在尝试2的基础上再次加深decoder，从2层LSTM变为4层LSTM，效果变差了
在这里插入图片描述

5, 在2的基础上加上dropout

model:                                    # Model architecture
  ctc_weight: 0.3                         # Weight for CTC loss, set between 0.0~1.0 to jointly optimize for CTC + seq2seq
  encoder:
    prenet: 'vgg'                         # 'vgg'/'cnn'/''
    # vgg: True                             # 4x reduction on time feature extraction
    module: 'LSTM'                        # 'LSTM'/'GRU'/'Transformer'
    bidirection: True
    dim: [512,512,512,512]
    dropout: [0.5,0.5,0.5,0.5]
    layer_norm: [False,False,False,False]
    proj: [True,True,True,True]      # Linear projection + Tanh after each rnn layer
    sample_rate: [1,1,1,1]
    sample_style: 'drop'                  # 'drop'/'concat'
  attention:
    mode: 'loc'                           # 'dot'/'loc'
    dim: 300
    num_head: 1
    v_proj: False                         # if False and num_head>1, encoder state will be duplicated for each head
    temperature: 0.5                      # scaling factor for attention
    loc_kernel_size: 100                  # just for mode=='loc'
    loc_kernel_num: 10                    # just for mode=='loc'
  decoder:
    module: 'LSTM'                        # 'LSTM'/'GRU'/'Transformer'
    dim: 512
    layer: 2
    dropout: 0.5

首先尝试只有asr decoder，beam size =3
加上dropout后，模型效果有了一个很大的提升
在这里插入图片描述

再试试decoder加上0.3的lm权重
在这里插入图片描述

再试试beam size = 20
结果和beam size3 没什么大的区别

将decoder和encoder里面的dropout改成0.3，再重新训练一下：

可以看到，当dropout值调小后，虽然public score变小了，但是private score变大了，所以dropout调小后，应该是存在一些过拟合。如果用之前dropout 0.5，反而private score可以拿到更好的排名。