NLP —— 中文分词

中文分词

目前主流方案

基于BiLSTM-CNN-CRF的中文分词
参考1（整个流程讲的比较好）https://www.jianshu.com/p/5fea8f42caa9
参考2（CRF理解那块讲的好）https://www.jianshu.com/p/97cb3b6db573

• 个人理解Bilstm利用词与词之间的关系
• BiLSTM在学习较长句子时，可能因为模型容量问题丢弃一些重要信息，CNN层，用于提取当前词的局部特征，放在BiLSTM之前。
• CRF用于增加一些约束，使得不会有两个动词连续出现（简单举例），最终会得到一系列的转移概率
• 最后利用维特比算法，利用动态规划的方法得到最优路径，即最优中文分词