上篇提到在NLP中,最大分词几个缺点。
1:效率低下
2:受限于最大匹配长度限制
3:没有考虑语义。
我们这次重点来考虑下语义问题。
假设我们现在有个黑盒子工具。这个工具可以帮助我们筛选出分词效果最好的那个。
首先输入为:经常有意见分歧。
我们可以生成所有的可能分割。
例如:
S1:经常/有/意见/分歧
S2:经常/有/意见/分歧
S3:经常/有/意/见/分歧
S4:经常/有意见/分歧
然后计算每个S的得分情况。
上篇提到在NLP中,最大分词几个缺点。
1:效率低下
2:受限于最大匹配长度限制
3:没有考虑语义。
我们这次重点来考虑下语义问题。
假设我们现在有个黑盒子工具。这个工具可以帮助我们筛选出分词效果最好的那个。
首先输入为:经常有意见分歧。
我们可以生成所有的可能分割。
例如:
S1:经常/有/意见/分歧
S2:经常/有/意见/分歧
S3:经常/有/意/见/分歧
S4:经常/有意见/分歧
然后计算每个S的得分情况。