NLP
sigma_Tian
书写是对思维的缓存
展开
-
log-anomaly-detector (LAD)
log-anomaly-detector (LAD)LAD是一个基于机器学习的Log日志异常检测命令行工具文章目录log-anomaly-detector (LAD)使用方式1. 安装2. 示例CommandUI Command:3. 结构4. Machine Learning CoreLanguage Encoding, Word2VecSOM模型结构5.MetricsFact Store ...原创 2019-12-10 11:50:35 · 1468 阅读 · 0 评论 -
NLP相关竞赛
NLP相关竞赛列举了一些NLP相关的评测和比赛,欢迎补充文章目录NLP相关竞赛会议NLPCC ( Natural Language Processing & Chinese Computing) 2012NLPCC 2013NLPCC 2014NLPCC 2015NLPCC 2016NLPCC 2017NLPCC 2018SIGHAN (Special Interest Group f...原创 2019-01-19 18:21:18 · 25069 阅读 · 2 评论 -
指代消解评价指标(共指消解评测算法)
共指消解的评价方法和算法非常重要,它不但可以给出不同系统之间性能优劣的指标,同时能为进一步提高系统性能指明方向。一个好的用于评价共指消解性能的标准应该具备两点一是辨别能力二是解释能力。前者是指能够判断出系统共指关系消解处理好坏的能力后者是指具备对评价结果合理直观解释的能力。MUC评测算法MUC-6算法是一种基于链(link-based)的评价标准算法,曾广泛用于MUC会议的指代消解任务。算法定...原创 2018-11-06 19:02:23 · 2523 阅读 · 2 评论 -
指代消解笔记
基础原理:共指消解技术主要用于解决多个指称对应同一实体对象的问题。在一次会话中,多个指称可能指向的是同一实体对象。利用共指消解技术,可以将这些指称项关联(合并)到正确的实体对象,由于该问题在信息检索和自然语言处理等领域具有特殊的重要性,吸引了大量的研究努力。共指消解还有一些其他的名字,比如对象对齐、实体匹配和实体同义。共指消解问题的早期研究成果主要来自自然语言处理领域,近年来统计机器学习领域的...原创 2018-10-25 14:24:18 · 12963 阅读 · 16 评论 -
ATT-CNN(attention based CNN)
ATT-CNN文本分类,论文解读(Attention-based Convolutional Neural Networks for Sentence Classification)Attention-based CNN1. Basic CNN2. ATT-CNN作者:sigma_Tian来源:CSDN原文:https://blog.csdn.net/tcx1992/article/det...原创 2018-10-25 10:28:43 · 18054 阅读 · 12 评论 -
宾州CTB汉语树库
语料文件中的句法树来源有: NW: Newswire: [0001-0325, 0400-0454, 0500-0540, 0600-0885, 0900-0931, 4000-4050] MZ: Magazine articles: [0590-0596, 10001-1151] BN: Broadcast news: [2000-3145, 4051-4111] BC: Broadca...原创 2018-07-03 14:54:31 · 2630 阅读 · 0 评论 -
LSTM原理
https://www.jianshu.com/p/dcec3f07d3b5转载 2018-06-08 14:00:20 · 986 阅读 · 0 评论 -
ML相关
过拟合语料受限决定了训练实例受限,这时如果特征越多特征空间中的各种相关参数训练就越不充分,从而会导致出现数据稀疏并最终导致实验结果中封闭测试性能较好,但表示机器学习模型泛化能力的开放测试性能较差。(篇章共指消解研究综述)...原创 2018-05-30 16:28:07 · 202 阅读 · 0 评论 -
利用brat进行语料标注
标注语料的时候可以采用brat语料标注工具具体过程参见 http://wetest.qq.com/lab/view/31.html brat具体相关配置步骤:http://brat.nlplab.org/configuration.html配置细节在配置entity时,还可以实现entity的层次结构。通过在每行开始处插入TAB字符指定这一层次结构。 (注:这里不可以用空格来代...原创 2018-06-05 13:35:15 · 18361 阅读 · 12 评论 -
基于LSTM和迁移学习的文本分类模型说明(Tensorflow)
具体的网络结构可以参照我的前一篇博客基于RNN的文本分类模型(Tensorflow)考虑到在实际应用场景中,数据有可能后续增加,另外,类别也有可能重新分配,比如银行业务中的[取款两万以下]和[取款两万以上]后续可能合并为一类[取款],而重新训练模型会浪费大量时间,因此我们考虑使用迁移学习来缩短训练时间。即保留LSTM层的各权值变量,然后重新构建全连接层,即图中的Softmax层。 ...原创 2018-03-06 15:06:38 · 9002 阅读 · 4 评论 -
基于RNN的文本分类模型(Tensorflow)
基于LSTM(Long-Short Term Memory,长短时记忆人工神经网络,RNN的一种)搭建一个文本意图分类的深度学习模型(基于ython3和Tensorflow1.2)如图1所示,整个模型包括两部分第一部分:句子特征提取Step1 读取数据(这里是经过结巴分词后的句子),按比例划分训练集和验证集,这里每个句子都生成了相应的mask向量,用以标记每原创 2017-10-10 16:42:41 · 29116 阅读 · 7 评论