自然语言处理
文章平均质量分 69
TheOneAc1
初级炼丹师
展开
-
CS224D:Deep Learning for NLP Note1
keywords: Word Vectors, SVD, Skip-gram. Continuous Bag of Words(CBOW). Negative Sampling. 关键词:词向量,奇异值分解,Skip-gram,CBOW,负抽样词向量 One-hot vector: Represent every word as an R|V|×1 vector with all 0s原创 2017-09-24 11:36:14 · 341 阅读 · 0 评论 -
中文文本处理传统方法
分词机械分词 依据词典匹配分词 逆向匹配效果一般优于正向匹配 最大匹配先匹配长词,递减至短词,长度为2时仍未匹配,单词切割即可正向最大匹配正向最小匹配逆向最大匹配逆向最小匹配一体化分词 考虑统计词频,寻找在给定字串上最大概率的分割序列(以词频统计做概率似然) 歧义字段发现:双向扫描分词结果不一致判为歧义字段词性标注:用词性标注分别切割计算分词路径概率值,选取大概率分原创 2017-10-05 14:05:39 · 1170 阅读 · 0 评论