【大模型基础】12.1主题模型TopicModel（待）

一、trick

1. 利用优质“少量”数据学习模型，缓解单机速度和内存问题，然后对剩余/新文档做推导（可数据并
行）。比如用微博训练LDA时，先把长度短的微博过滤掉（有工作得出长度为7的短文本适合LDA
进行学习），过滤相似微博（转发会造成很多近乎相同的微博）。当训练数据量大并且单机环境中
可试一下GraphLab Create，该工具还支持采样比较快的alias LDA。如果不仅是为了学习当前语料
中的主题分布，并且也用于预测新数据，则数据量越大越好。

2. 去除一些TF/DF较低/高的词，较低的词在拟合的过程中会被平滑掉，较高的词没有区分力，标点，助词，语气词也可以去掉（中文常用词60万左右）。在中文中应考虑全角变半角，去乱码，繁转
简，英文中考虑大小写转换。实际处理数据时会发现分词后不同词个数很容易达到百万级别，这里
很多词是没有意义的，数字词，长度过长的词，乱码词。此外，分词过程中如果两个词在一起的频
率比较高，那么分词结果会把两个词合并，那么合并与否对LDA的训练是否有影响呢？有的词应该
合并，比如”北京 大学“，也有的词分开会好一些，比如”阶级 斗争“。

3. 根据上下文合并短文本，比如合并用户所有的微博作为一个文档，合并相似的微博作为一个文档，
把微博当做一个查询，利用伪反馈来补充微博内容（中文微博比twitter字数更多一些，长微博不用
扩展已经可以正确分类，短微博本身可能就是歧义的，