NLP
qrlhl
这个作者很懒,什么都没留下…
展开
-
Tensorflow1.4.0实现条件随机场(CRF)
关于TensorFlow实现CRF的方法我在网上找了很久也没有找到很合适的,目前最多关注的是自己写出来的CRF,比较复杂。在翻阅TensorFlow文档的时候偶然间发现TensorFlow1.4.0版本已经实现了CRF,并找到了官方例程,实现简单,在这里跟大家分享一下import numpy as npimport tensorflow as tf# 参数设置num_examples = 10原创 2017-11-30 15:11:25 · 4726 阅读 · 4 评论 -
衡量文档相似性的一种方法-----词移距离 Word Mover's Distance
问题的提出假如现在有一个任务,是判断两段文本之间的相似性,那我们应该怎么做呢?一个很自然的想法是用word2vec对两段文本的词向量化,然后再利用欧氏距离或者余弦相似性进行求解。不过这种方法有着致命的缺陷,即无法从文档整体上来考虑相似性,仅仅是基于词,这就造成了很大的信息缺失问题,下面要介绍的这种方法可以从文档整体上来考虑两个文档之间的相似性,这种技术称为词移距离(WMD)。词移距离(WMD)究竟什原创 2017-11-12 16:24:18 · 10656 阅读 · 5 评论 -
条件随机场(CRF)
本文是结合李航《统计学习方法》以及互联网资料整理得出,感谢各位作者的贡献。 - 是判别模型 - 假设输出随机变量构成马尔科夫随机场 - 标注问题—>线性链条件随机场—>由输入序列对输出序列预测的判别模型—>对数线性模型概率无向图模型概率无向图模型又称马尔科夫随机场,是一个可以由无向图表示的联合概率分布模型定义图:由结点vv的集合VV和边ee的集合EE构成,G=(V,E)G=(V,E)概原创 2017-10-24 23:05:32 · 2138 阅读 · 0 评论 -
AliNLP架构
AliNLP 自然语言技术平台阿里AliNLP系统架构图 1. 词法分析(分词、词性、实体): - 算法:基于Bi-LSTM-CRF算法体系,以及丰富的多领域词表 2. 句法分析(依存句法分析、成分句法分析): - 算法:Shift-reduce,graph-based,Bi-LSTM - 应用:资讯搜索、评价情感分析 3. 情感分析(情感对象、情感属性、情感属性关联): - 算法:情原创 2017-11-16 14:51:54 · 10800 阅读 · 0 评论 -
词法分析之Bi-LSTM-CRF框架
词法分析是NLP的一项重要的基础技术,包括分词、词性标注、实体识别等,其主要算法结构为基于Bi-LSTM-CRF算法体系,下面对Bi-LSTM-CRF算法体系进行介绍。引言首先抛开深层的技术原因,来从宏观上看一下为什么LSTM(Bi-LSTM)后接CRF效果会好。 首先引用一篇英文文献关于这个问题的介绍: For sequence labeling (or general structured原创 2017-11-17 14:55:38 · 27294 阅读 · 0 评论 -
IDEA运行Stanford CoreNLP 出现error "java.lang.OutOfMemoryError: GC overhead limit exceeded"
前段时间在使用CoreNLP工作的时候出现了一个小问题,就是在运行这篇文章Stanford CoreNLP 3.6.0 使用入门 的中文例子的时候,IDEA报错error “java.lang.OutOfMemoryError: GC overhead limit exceeded”显示内存溢出,通过在网上找资料得知是虚拟机内存设置的不够大。但是按照网上的资料修改IDEA的安装目录中的配置文件之后...原创 2018-03-23 10:27:01 · 2943 阅读 · 2 评论 -
Windos环境下快速简便配置pyltp以及调用哈工大语言云
一、Windos环境下快速简便配置pyltp在windows环境下配置pyltp一直是一件很蛋疼的事,涉及到VS2008,cmake等等东西,还总TM蜜汁安装失败。。。最近发现了一位大神发布的资源,可以很简单的实现pyltp在windows环境下的安装,下面把资源共享给大家: pyltp-0.2.1-cp35-cp35m-win_amd64.whl pyltp-0.2.1-cp36-cp3...原创 2018-04-25 21:52:57 · 1972 阅读 · 3 评论