![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
自然语言处理
hjx5200
这个作者很懒,什么都没留下…
展开
-
招聘语音算法工程师
1、encoder部分可以并行,decoder不可以。因为decode时还是要按顺序,依赖上一个输出;2、attention有三种,分别是encoder部分的self-atte原创 2021-07-30 17:27:21 · 582 阅读 · 0 评论 -
自然语言处理模型——LSI
LSI,英文:Latent Semantic Indexing的缩写,中文意译是潜在语义索引,指的是通过海量文献找出词汇之间的关系。当两个词或一组词大量出现在一个文档中时,这些词之间就可以被认为是语义相关的。“词袋”模型假设一个段落的词汇之间出现频率是无关联的。因此通过给文档建立文档词汇向量表维度很大,并且有数据稀疏问题,通过LSI建模,通过大量的统计,得出相关词汇构成一个潜在的主题,本质是给原创 2016-03-18 10:48:20 · 7014 阅读 · 0 评论 -
用MeCab打造自己的分词器(二)
按照用MeCab打造自己的分词器(一)操作,已经安装好了MeCab。接下来安装指定方式组织语料、词典和配置文件,打造自己的分词系统。利用backoff2005中微软研究院的中文分词语料来训练一个简单的分词系统,逐步深入完成我们的总目标。当前目录为$WordSeg,下载微软的语料到当前目录下,解压,并创建msr_mecab_test目录。~/Project/WordSeg$ lsi...原创 2018-11-29 19:33:18 · 1118 阅读 · 0 评论 -
用MeCab打造自己的分词器(一)
希望能打造满足项目需要的分词器,然后利用这个分词器,来对收集的垂直领域语料进行分词。在此基础上训练词向量,供后续的功能使用。理想的需求是已有大量的语料可供训练或者说转换不那么复杂,同时支持词典添加和增量模型训练两种方式。通过“我爱自然语言处理”网站上推荐的MeCab,比较符合需要。准备根据站长的博文一步步操作,利用MeCab构建分词器。他在这篇博文提到的坑,前面几个都没遇到编译都很顺利,可...原创 2018-11-27 09:34:08 · 2537 阅读 · 0 评论 -
用MeCab打造自己的分词器(三)
如何增量训练MeCab。一、准备词典和分词后的语料。词典的格式在第一次初始训练的时候已经讲过,是csv格式,以逗号隔开。形式如:1123项,0,0,0,0,0,0义演,0,0,0,0,0,0佳酿,0,0,0,0,0,0沿街,0,0,0,0,0,0老理,0,0,0,0,0,0三四十岁,0,0,0,0,0,0解波,0,0,0,0,0,0统建,0,0,0,0,0,0蓓蕾,0,...原创 2018-12-03 10:58:53 · 683 阅读 · 0 评论 -
tensor2tensor项目中机器翻译中的bug
在利用transformer模型训练中英互译模型时,自己实现了一个translate的problem,重新实现了generate_encoded_sample,并提供自己预处理后的vocab.en和vocab.zh。tensor2tensor提供了一个非常好的功能,只要在translate后面加上_rev,就能实现源语言和目标语言反转。也就是只要实现英文-->中文的训练过程,datage...原创 2019-01-24 16:11:41 · 1078 阅读 · 2 评论