乖兔子的专栏

原创 开源项目kcws代码分析--基于深度学习的分词技术

分词原理本小节内容参考待字闺中的两篇博文：97.5%准确率的深度学习中文分词（字嵌入+Bi-LSTM+CRF）如何深度理解Koth的深度分词？简单的说，kcws的分词原理就是：对语料进行处理，使用word2vec对语料的字进行嵌入，每个字特征为50维。得到字嵌入后，用字嵌入特征喂给双向LSTM， 对输出的隐层加一个线性层，然后加一个CRF就得到本文实现的模型。于最优化方法，文本语言模型类