![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
自然语言处理
BlackZero13
这个作者很懒,什么都没留下…
展开
-
【分词】最大正向匹配算法及demo
最大匹配算法作为分词的最初级分词算法,作为学习,简单实现一下。 流程图: def tokenize(line, dic, max_length = 5): line = line.strip() if line == '': return [] if max_length >= len(line): return [line]...原创 2019-08-29 15:08:56 · 421 阅读 · 0 评论 -
word2vec python实现
这里先实现skip-gram,本文也是对于该篇文章的翻译,并添加个人的理解与感悟。 整体的流程如下: 数据准备 —— 数据获取、清洗、使标准化、分词 超参数 —— 学习率、迭代次数、窗口大小、词向量维度 生成训练数据 —— 创建字典、为每个词生成one-hot编码、生成word2dic和dic2word的索引 建立模型 —— 通过前向传播先对词做编码,计算错误率,通过反向传播和梯度下降不断降低l...翻译 2019-09-15 17:14:18 · 2506 阅读 · 4 评论