![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
自然语言处理
IT-行者
厚积薄发
展开
-
正则表达式
在自然语言处理任务中,会经常用到正则表达式,在数据预处理部分对数据清洗。提取到“干净”的数据用于后续的建模,平时都是用到正则表达式直接查询,在这里总结一下正则表达式的内容,方便记忆和查询。一、常见的正则表达式常见的正则表达式大家可以自己找,这里给一个地址,供大家参考。在python中,re模块提供了正则表达式的功能。二、python的re模块2.1 正则函数2.1.1 re.m...原创 2019-02-11 11:01:46 · 209 阅读 · 0 评论 -
分享记录两个英文自然语言处理的工具包
在这里总结、记录两个英文自然语言处理的工具包,具体怎么使用可以看文档。一、NLTKhttp://www.nltk.org/二、spaCyhttps://spacy.io/原创 2019-02-24 18:29:47 · 326 阅读 · 0 评论 -
文本表示
文本表示就是将文本转化成数学上的向量表示,怎么把字符串转化为向量,就是文本表示的核心问题。一、离散表示1、词袋模型(Bag of Words)词袋模型就是将字符串看成一个装满词的袋子,词是在袋子里随机放着的。假设语料库为: John likes to watch movies. Mary likes too. ...原创 2019-04-12 14:14:20 · 1585 阅读 · 0 评论