![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
NLP
LionheartHJS
这个作者很懒,什么都没留下…
展开
-
中文分词
中文分词基于字符串匹配的分词方法基于理解的分词方法基于统计的分词方法常见分词工具分词就是将连续的字序列按照一定的规范重新组合成词序列的过程。中文分词指的是将一个汉字序列切分成一个一个单独的词。在英文的行文中,单词之间是以空格作为自然分界的,而中文只是字、句、段可以以明显的分界符划分。虽然英文也同样存在短语的划分问题,不过在词这一层上,中文比之英文要复杂、困难的多。基于字符串匹配的分词方法...原创 2019-08-28 22:31:00 · 201 阅读 · 0 评论 -
自然语言特征表示加实例演示
特征表示对一段话的特征表示,词袋模型,TF-IDF;对词的特征表示,word2vec词袋模型词袋模型是一种从文本中提取特征的方法。词袋是描述文档中单词出现的文本的一种表示形式。词袋假定对于一个文本,忽略词序和语法,句法,仅仅看做一个词集合,文本中每个词的出现都是独立的,不依赖其他词是否出现。举例理解词袋模型(1)John likes to watch movies. Mary li...原创 2019-08-28 22:31:29 · 332 阅读 · 0 评论