命名实体识别(Named Entity Recognition,NER)
1. 基于规则的方法:利用手工编写的规则,将文本与规则进行匹配来识别命名实体。
2. 基于特征模板的方法:统计机器学习将NER视为序列标注问题,利用大规模语料来学习出标注模型,从而对句子各个位置进行标注,常用到的模型包括HMM和判别式模型CRF.
3. 基于神经网络的方法: 将token从离散one-hot表示映射到低维空间中成为稠密的embedding,随后将句子的embedding序列输入到RNN中,用神经网络自动提取特征,Softmax来预测每个token的标签。缺点:网络变种多、对参数设置依赖大、模型可解释差。而且对每个token打标签的过程中是独立的分类,不能直接利用上文已经预测的标签(只能靠隐状态传递上文信息),进而导致预测出的标签序列可能是非法的
命名实体识别(NER)
最新推荐文章于 2022-11-04 15:49:31 发布