2019年01月_CopperDong

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

转载 PCFG parser及实现

原文源代码点击下载背景介绍:PCFG是ProbabilisticContext Free Grammar的简写，是Chomsky范式中的2型文法。句法分析就是解析出句子的词之间的结构关系，对于什么是句法分析，我们并不陌生，因为我们从上小学开始就经过了句法分析的“严酷”训练，回想一下,语文老师教我们怎么解析一个句子的主谓宾定状补。为了便于科学描述和交流，把一个句法表示成四元组: ...

2019-01-29 18:23:25 940 1

转载 PCFG CKY实现--python版本

class PCFG(object): def __init__(self, non_ternimal, terminal, rules_prob, start_prob): self.non_terminal = non_ternimal self.terminal = terminal self.rules_prob = rules_p...

2019-01-29 14:59:14 2645 1

转载 CYK算法简介与实现

原文摘要CYK算法是一个基于“动态规划”算法设计思想，用于测试串w对于一个上下文无关文法L的成员性的一个算法。CYK算法可以在O(n3)O(n3)的时间内得出结果。CYK算法是由三个独立发现同样思想本质的人（J. Cocke、 D. Younger和T. Kasami）来命名的。这篇博客将主要介绍乔姆斯基范式、CYK算法的流程以及其代码实现。1. 乔姆斯基范式任何一个非空且不含ϵ的上下...

2019-01-29 14:55:56 3022

转载基于keras的BiLstm与CRF实现命名实体标注

https://www.cnblogs.com/vipyoumay/p/ner-chinese-keras.html众所周知，通过Bilstm已经可以实现分词或命名实体标注了，同样地单独的CRF也可以很好的实现。既然LSTM都已经可以预测了，为啥要搞一个LSTM+CRF的hybrid model? 因为单独LSTM预测出来的标注可能会出现（I-Organization->I-Person...

2019-01-29 14:41:53 865

转载 Stanford-corenlp 英文词性标注

一、环境配置1.下载官网的NLP相关包将下载下来的stanford-corenlp-full-2018-02-27解压并将下载英文的jar文件stanford-english-corenlp-2018-02-27-models.jar放到该目录下。网址：https://stanfordnlp.github.io/CoreNLP/index.html2.确保电脑里要已经安装jav...

2019-01-28 11:57:21 3118 1

转载中英文词性标注对照表

中文词性对照表代码名称帮助记忆的诠释 Ag 形语素形容词性语素。形容词代码为a，语素代码ｇ前面置以A。 a 形容词取英语形容词adjective的第1个字母。　 ad 副形词直接作状语的形容词。形容词代码a和副词代码d并在一起。　 an 名形词具有名词功能的...

2019-01-28 11:55:12 6071

转载 Transformer源码解读

原文转载请注明出处之前我们一起了解了attention、transformer的原理，本文将会基于github的一个 transformer (下文会针对我对该代码的一个改版讲解)开源代码进行代码分析讲解，该代码相比于Google提供的tensor2tensor/transformer代码更简单，也更容易理解。这里简单说一下代码怎么运行：下载数据集 IWSLT 2016 Germa...

2019-01-26 16:11:39 1540

转载 Transformer模型详解

原文

2019-01-26 16:09:27 826

转载 Python NLTK结合stanford NLP工具包进行文本处理

https://www.cnblogs.com/baiboy/p/nltk1.html1 NLTK和StandfordNLP简介NLTK：由宾夕法尼亚大学计算机和信息科学使用python语言实现的一种自然语言工具包，其收集的大量公开数据集、模型上提供了全面、易用的接口，涵盖了分词、词性标注(Part-Of-Speech tag, POS-tag)、命名实体识别(Named Entity R...

2019-01-23 18:39:11 930 1

转载最大熵用于文本分类

https://blog.csdn.net/golden1314521/article/details/45576089https://github.com/doubleEN/Maxent一个实例原始数据集和完整的代码见 http://download.csdn.net/detail/u012176591/8675665一个相关的论文《使用最大熵模型进行中文文本分类》1.改进的迭代...

2019-01-18 15:14:07 1373

转载条件随机场CRF总结和实现

https://applenob.github.io/crf.htmlhttps://github.com/heshenghuan/linear_chain_crf 实例条件随机场 CRF总结和实现目录概率无向图模型条件随机场参数化形式简化形式矩阵形式三个问题概率计算问题改进的迭代尺度法 BFGS算法学习方法预测算法 ...

2019-01-09 15:43:44 2481

转载如何和用keras和tensorflow构建企业级NER

如何和用keras和tensorflow构建企业级NER应用最新的深度学习方法来满足工业的需求图片来源：pexels几年前，当我在一家初创公司做软件工程实习生的时候，我在一份发布网络应用程序的工作中看到了一个新特性。这个应用程序能够识别和解析简历中的重要信息，比如电子邮件地址、电话号码、学位信息等等。我开始与我们的团队讨论可能的方法，我们决定用python构建一个基于规则的解析器，...

2019-01-02 11:44:31 693