深度学习 nlp
Duyuankai1992
这个作者很懒,什么都没留下…
展开
-
使用snownlp將繁體字装换成简体字
#encoding=utf-8from snownlp import SnowNLP"""简体繁体互转"""s = SnowNLP(u'「繁體字」台灣是中國的一部分,國民黨')print (s.han)原创 2017-11-28 15:38:47 · 1710 阅读 · 0 评论 -
使用jieba提取文章主旨大意
#encoding=utf-8import jieba.analyse"""jieba.analyse.extract_tags(sentence, topK=20, withWeight=False, allowPOS=())sentence 为待提取的文本topK 为返回几个 TF/IDF 权重最大的关键词,默认值为 20withWeight 为是否一并返回关键词权重值,默认值为 F原创 2017-11-28 15:50:50 · 3006 阅读 · 0 评论 -
中文分词jieba
coding: utf-8# ###jieba特性介绍# 支持三种分词模式:# 精确模式,试图将句子最精确地切开,适合文本分析;# 全模式,把句子中所有的可以成词的词语都扫描出来, 速度非常快,但是不能解决歧义;# 搜索引擎模式,在精确模式的基础上,对长词再次切分,提高召回率,适合用于搜索引擎分词。# 支持繁体分词。# 支持自定义词典。# MIT 授权协议。# ###分词速度转载 2017-11-21 21:54:48 · 1070 阅读 · 0 评论 -
No module named 'spacy.en'
在终端执行:python -m spacy download en 即可原创 2017-12-01 14:37:11 · 8133 阅读 · 0 评论 -
spacy初学
spacy是一个工业强度的自然语言处理的工具包。import spacyfrom spacy import displacynlp = spacy.load('en')doc = nlp(u'Apple is looking at buying U.K. startup for $1 billion')"""Doc被处理 - 例如分成单独的单词和注释 - 它仍然保留原始文本的所有翻译 2017-12-01 15:16:17 · 5688 阅读 · 0 评论