nlp
haha_liwei
这个作者很懒,什么都没留下…
展开
-
达观杯文本处理比赛(二)
针对文本预处理问题,我们经常用到几个常见的语言模型,这里我就不做过多的介绍,如果大家想了解可以参考我的这篇博客。接下来本文主要才去用了Word2Vec模型进行文本预处理。因为我的电脑内存只有八G,不能一下处理所有的数据,我采用了分批次训练的方法,先把文件切成小文件,然后依次去取,采用生成器的方法,每次读完就释放内存。训练词向量...原创 2019-03-05 20:49:28 · 205 阅读 · 0 评论 -
常见的语言模型
词袋模型此模型下,一段文本(比如一个句子或是一个文档)可以用一个装着这些词的袋子来表示,这种表示方式不考虑文法以及词的顺序,例如下面两个句子:(1) John likes to watch movies. Mary likes movies too.(2) John also likes to watch football games.基于以上两个文件,可以建构出下列清单:[ ...原创 2019-03-04 21:27:46 · 2792 阅读 · 0 评论 -
达观杯文本处理比赛深度学习实践
使用Keras框架###导包import pandas as pdimport numpy as npfrom sklearn.model_selection import train_test_splitfrom sklearn import preprocessingfrom keras import backendbackend.clear_session()from ke...原创 2019-03-11 16:28:11 · 238 阅读 · 0 评论