![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
自然语言处理
爱吃黄瓜的喵
别人朝觐巅峰,我接受巅峰的朝觐
展开
-
自然语言处理-停用词
[做一个搬运工,信息来自百度百科]停用词 停用词是指在信息检索中,为节省存储空间和提高搜索效率,在处理自然语言数据(或文本)之前或之后会自动过滤掉某些字或词,这些字或词即被称为Stop Words(停用词)。这些停用词都是人工输入、非自动化生成的,生成后的停用词会形成一个停用词表。 但是,并没有一个明确的停用词表能够适用于所有的工具。甚至有一些工具是明确地避免使用停用词来支持短...转载 2019-01-08 16:29:11 · 18295 阅读 · 0 评论 -
自然语言处理-词干
[人工搬运,数据来自百度百科]词干用以构成新词的不同组成部分添加在词根上 词干(Stem)是由词根和词缀构成的,一个词除去词尾的部分。词干可能是由词根构成的,也可以是词根加上词缀构成的。例如:workers,其中s是词尾,work是词根,er是词缀,这个词除去词尾,剩下的worker就是词干。workers --> worker 是提取后的词干 与词根的区别:...转载 2019-01-08 16:36:41 · 1255 阅读 · 0 评论 -
自然语言处理-词干提取
[人工搬运,资料来自百度百科]词干提取 在词法学和信息检索里,词干提取是去除词缀得到词根的过程(得到单词最一般的写法)。对于一个词的形态词根,词干并不需要完全相同;相关的词映射到同一个词干一般能得到满意的结果,即使该词干不是词的有效根。从1968年开始在计算机科学领域出现了词干提取的相应算法。很多搜索引擎在处理词汇时,对同义词采用相同的词干作为查询拓展,该过程叫做归并。词干提取项目一般涉...转载 2019-01-08 16:40:55 · 2578 阅读 · 0 评论