tw1 model修改record

 原BiLSTM-CRF模型 

epoch 20/150: training loss = 0.9868; training accuracy = 0.7893; validation loss = 2.2454; validation accuracy = 0.5985 time = 0:06:31.032106

优化器 Adam ；LR 0.001

 feature layer加cnn补充特征 

 知识补充 

1. nn.linear() 是设置全连接层，输入输出需要是二维tensor [batch_size,size]，也即：

in_feature是输入[batch_size,size]中的size

输出的tensor形状为[batch_size,out_feature]

卷积层输入输出是四维tensor？

2. torch.cat() ，torch.cat((A,B),dim)，dim=0竖着拼接，dim=1横着拼接

3. 计算保留小数点：

format(float(a)/float(b),'.2f')

 record 

1. cnn拼接进去部分代码，均在run_all.py

设置两层conv，两层全连接

具体forward如下，其中部分hidden计算借用lstm的，并未做修改

lstm和cnn分别获取特征后，竖向拼接tensor

2. 初运行没问题，但acc计算出现错误，没有值

以下是修改过程：

hiddens拼接出错，竖着拼改了tensor维度

采用计算对应tensor的加权平均值，生成最终的tensor，维度与lstm_feats以及intercnn_feats相同

但trues还是0...接着查，然后修改了trues的计算方式，可以成功计算出trues并计算acc，val_trues处做同样修改

人家原本的没毛病，又改回来了

跑了50个epochs，又忘记截图了.........提升不大，在增加F1计算，后面重新跑一次吧。

 改BiLSTM到transformer 

 知识补充 

 record 

 修改embedding 

 知识补充 

 record 

原model的embedding是由train.txt先过预处理，之后split，再生成一个pkl文件，pkl里是按位置生成的word对应向量，unk的为0。

修改

先加个elmo的word-level embedding

 两个embedding出的tensor拼接方式还没确定

# 0331

elmo模型加载太慢，太拉跨embedding速度了。

但只用character-level特征，token embedding使用原bi的pkl对应，在后embedding 与bert方法的pos embedding相加，整体训练速度变化不大，epoch1测试的train acc 0.5568：）

在使用原bi 的pkl到bert 的token embedding时，会报index溢出错误，原pkl的标码是len+1的，所以就拆到一边去单独生成pos embedding再拼接了。