![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
自然语言处理
流沙009
新手菜鸟
展开
-
句子语义表征/句子向量
大体上可以分为无监督方式和监督方式无监督句子语义表征方法:1、一种最经典的方法是在One-hot词语语义表征的基础上使用Bag-of-Words技术。缺点:一是它丢失了词语在句子中的顺序信息;二是它忽略了词语的语义信息,每个词的One-hot表征都是等距离的。2、类似的还有用word2vec来替换One-hot词向量,使用Bag-of-Words技术,构成句子向量。还可以结合TF-ID...原创 2019-03-21 19:00:56 · 3223 阅读 · 1 评论 -
中文分词方法介绍
最近在七月在线APP刷题,这个关于中文分词的解析非常详细,就手敲一份,加深印象,也做分享。中文分词的基本方法可以分为基于语法规则的方法、基于词典的方法和基于统计的方法。基于语法规则的分词法基本思想是在分词的同时进行句法、语义分析,利用句法信息和语义信息来进行词性标注,以解决分词歧义现象。因为现有的语法知识、语法规则十分笼统、复杂,基于语法和规则的分词法所能达到的精确度远远还不能令人满意,目...原创 2019-03-22 08:49:31 · 2131 阅读 · 0 评论