自然语言处理
xu_erni
行到水穷处,坐看云起时
展开
-
测试CRF++训练出来的model
1.分析crf_model.txtversion: 100(版本号)cost-factor: 1(默认为1,为了防止过拟合)maxid: 50940xsize: 1这是文件的开头部分:maxid:特征函数的最大id(因为中文采用的是BMES标注,所以实际结果)xsize:特征维度(训练的语料库列数减去1)2.对训练好的crf_model文件进行测试crf_t原创 2017-01-06 10:33:02 · 3359 阅读 · 1 评论 -
如何使用SyntaxNet进行中文模型的使用
使用Chinese模型1.在网上下载Chinese模型文件,网址:http://download.tensorflow.org/models/parsey_universal/Chinese.zip2.上传模型文件,路径为:/xy/models/syntaxnet/。解压文件3.更改/xy/models/syntaxnet/syntaxnet/models/parsey原创 2016-12-29 10:29:28 · 5735 阅读 · 0 评论 -
SyntaxNet是否可以实现中文语义分析
最近查看了很多SyntaxNet方面的知识,在GitHub上也下载了中文语料库,并成功训练了自己的中文模型,因为官网没有关于中文模型的训练方法,于是便参照别人训练英文的方式进行中文的训练。在生成的模型文件中,很明显的缺少的segment部分,于是当我输入一句话进行测试的时候,结果会是把整句话当做一个名词进行标注。我在Stack Overflow上提出我的疑问,我怀疑Google开源的SyntaxN原创 2017-01-13 09:39:40 · 7087 阅读 · 2 评论 -
LSTM模型概述
LSTM(Long Short Term Memory)长短期记忆单元模型:首先介绍一下RNN模型。之前比较熟悉的是CNN网络,但是CNN所处理的对象很大程度上是图像,但是针对自然语言处理的理解,不止对当前的输入有关,还需要记忆和关联之前输入的一些内容。打个比方:一轮明月挂在天空中。我们可以很明确的知道空格处是天空,但是对于下面这就话,我是一名中国人,所以可以很流畅的进行中文交流。这里的空原创 2017-01-17 16:46:20 · 2427 阅读 · 0 评论