2021 泰迪杯 C 思路

希望大家能获得好成绩。

第一题

首先分词，分词本质上是一个序列标注问题，建议使用条件随机场。条件随机场可以用网络上开源的 SigHan05 的 MSR 分词语料库来训练。分词过后，当然还要删除停用词。删除停用词可以用双向匹配，即基于规则的词典匹配法。停用词字典的话，开源的有很多，这都不是问题。

另外要注意的问题是，英文怎么解决？我觉得只能手动翻译了，当然也可以不管，或者删除。

如何提取关键热词呢？有三个方法：

1. 词频统计：缺点在于反复出现的词不一定是热词
2. TF-IDF：占用空间太大
3. TextRank：类似于 google 排行算法的 PageRank，把词看成节点，应该就能懂了。

然后，最重要的一点，就是结合上述的方法，最后提出热门词。

第二题

评价模型的训练，感觉其实是一个监督学习中的回归问题。但这个机器学习，数据集有些少，就 50 个。

如何解决呢？首先将景区下的所有评论，拼接成一个长文档，再采用分词和停用词过滤，再用词袋模型（如TF-IDF）将非结构化的文本，转换为结构化的向量。