模型训练相关参数问题

1、bert那么大，你的训练数据只有10w，会过拟合吗，epcho是不是只能设置为1？

看过epcho的曲线，当epcho小于10时，评测的效果会存在震荡的情况。epcho设置为20时，表现的比较稳定。

2、分词时，你这边做了什么处理么？

有一些领域特定的词，这边不需要把它分开，我们会把这些词加入jieba的初始词表中。

3、句子向量如何表示，你有调研过么？

doc2vec,emol,bert,albert等都可以用来表示句子向量

4、word2vec求均值表示句向量是一种常见的方式，你有想过什么其他的加权策略吗？为什么你们做的时候不加权？

可以通过idf,tfidf来加权。第一版预期的聚类簇可能就不会有那么好，所以没考虑加权的方式来处理。