- 博客(6)
- 收藏
- 关注
RSS订阅原创 自然语言处理导论(张奇)——分词
在基于神经网络的分词算法中，通常采用与基于字的统计方法类似的问题建模方法，将分词任务转换为字的序列标注任务，对于给定一个中文句子，根据它在分词结果中的位置以及所采用的标签系统，输出标签序列。将句子中的每个字向量序列，输入到双向LSTM的各个时间步，再将正向LSTM输出的隐状态序列与反向LSTM隐状态序列按位置进行拼接，从而得到完整的隐状态序列。：针对输入的句子，解码器每次读入一个字，根据每次读入的字，每次采用两种方式进行评分，分别为：1.将字作为下一个新词的开始 2.将字作为上一个词的一部分。
2024-02-05 13:08:01
573
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人