自然语言处理
ppsppy
路要一步一步走,饭要一口一口吃
展开
-
自然语言处理:Word2Vec
自然语言处理中,用one-hot编码只能表示单词的索引,但是单词和单词之间的关系却没有办法表现出来,将单词处理为密集词向量,就可以用余弦距离表示两个单词的相似程度。one-hot编码假如全世界只有5个单词,a cat watch the TV。那么我们可以把每个单词用一个五维向量表示:a=[1,0,0,0,0]|cat=[0,1,0,0,0]watch=[0,0,1,0,0]the...原创 2019-03-08 20:46:17 · 806 阅读 · 0 评论 -
Keras基础指南
KerasKerasKeras主要有2中模型,SequentialSequentialSequential模型和ModelModelModel模型。SequentialSequentialSequential模型:模型from keras.models import Sequentialfrom keras.layers import Flatten,Dense,Embeddingmo...原创 2019-03-19 19:28:27 · 203 阅读 · 0 评论 -
自然语言处理:中文分词
中文分词一般有3中方法:基于规则基于统计混合算法基于规则基于规则是说,我们按照一定的规则去将中文文本分类,最常见的方法就是正向最大匹配算法、逆向最大匹配算法和双向最大匹配算法。正向最大匹配法什么是正向最大匹配算法呢?很简单,首先我们有一个预先定义好的词典,词典里面存放者目前已知的所有词语,假设词典中最大长度的词语长度是6,然后我们会从左往右,匹配词典中长度为6的词语,若是匹配到...原创 2019-03-13 04:30:46 · 591 阅读 · 0 评论