torch模型调整

有无注意力机制导致的模型不收敛问题

去掉注意力后，发现测试集准确率一直为0，这时要关注测试集上的损失函数是否下降，如果没有下降，可能是学习率较大导致，需要调整模型学习率。

三维tensor，第三维度拼接问题

例子：(2,2,3),(2,2,4)拼接为(2,2,7)

embeds1维度为2*2*3，embeds2维度为2*2*7
    def embedding_stack(self, embeds1, embeds2):
    	# 存储拼接后的tensor
        embeds_list = []
        for i in range(len(embeds1)):
        	# 在列维度进行tensor拼接
            t = torch.cat((embeds1[i], embeds2[i]), 1)
            # 首先将cuda转为cpu，然后去掉梯度，转为numpy后可以转为list
            t = t.cpu().detach().numpy().tolist()
            embeds_list.append(t)
        # list转numpy，默认数据格式为float64
        embeds_np = np.array(embeds_list)
        # 将numpy数据格式转为指定格式float32，通过astype，不可直接用dtype=float32，会导致维度增加
        result = torch.from_numpy(embeds_np.astype('float32'))
        if settings.use_cuda:
            result = result.cuda()
        return result

LSTM输入向量数据类型问题

bert输出数据类型格式为float32；
当拼接完数据后，数据类型为float64，导致lstm错误RuntimeError: cuDNN error: CUDNN_STATUS_BAD_PARAM，可能的原因是精度太高导致lstm表示出错。

LSTM层数设置

一般不超过3层，当层数增加，测试集F1值为0时，可能输入向量导致的问题（bert起止标志表示错误，导致向量表示错误）