BERT添加分类层-softmax

分类：

with tf.variable_scope('fully_connected'):
    output = embedding_inputs[:, 0, :]
    output = tf.layers.dropout(output, keep_pro)
    final_out = tf.layers.dense(output, pm.num_classes)
    score = tf.nn.softmax(final_out)
    predict = tf.argmax(score, 1)

1. 取每一句中CLS位置的值作为全连接层的输入，然后进行softmax。
2. 另外，如果做NER的话，那是输入就是bert_embedding.get_sequence_output()。