自然语言处理
zwglory
这个作者很懒,什么都没留下…
展开
-
Tensorflow 中 crf_decode 和 viterbi_decode 的使用
Tensorflow crf_decode 和 viterbi_decode 的使用看tensorflow的文档,说明 viterbi_decode 和 crf_decode 实现了相同功能,前者是numpy的实现,后者是 tensor 的实现,本文为了验证两者的解码结果是一致的。import tensorflow as tffrom tensorflow.contrib.crf impor...原创 2018-10-26 00:02:21 · 10996 阅读 · 6 评论 -
CRF/Seq2Seq/CTC的Loss实现对比
CRF/Seq2Seq/CTC的目标函数对比(CRF Loss解析)这里基于TensorFlow的实现,对三种序列化的任务的目标函数做一个总结。1. 序列化任务的定义和训练输入输出都是序列。先明确下三个任务的不同:CRF:通常用于序列标注任务,比如:BiLSTM+CRF、IDCNN+CRF,场景的特点是,输入与输出是一一对应的。其中语义模型先根据输入生成每个字的“打分”(后验概率的...原创 2019-12-10 17:54:43 · 3590 阅读 · 0 评论 -
聊天机器人的衡量指标
聊天机器人的衡量指标转载自:https://36kr.com/p/5103877.html原文链接:https://venturebeat.com/2017/11/19/7-metrics-for-measuring-chatbot-success/这里有7个衡量聊天机器人的表现的指标,你可以根据这些指标来找到你自己公司聊天机器人中存在的改进机会。(1)营收增长任何潜在投资者想...转载 2018-05-22 09:42:19 · 1817 阅读 · 0 评论 -
MacOS 安装 ROUGE 1.5.5 和 pyrouge
MacOS 安装 ROUGE 1.5.5 和 pyrougeROUGE python 工具总结官方 ROUGE :是 ROUGE-155(perl版本),但是这个项目已经停止维护了,很难用;pyrouge:官方版本的 Python wrapper,但需要另外安装perl版本,用起来较麻烦,参考https://blog.csdn.net/jolinxia/article/details/775...原创 2018-11-05 10:23:14 · 2419 阅读 · 3 评论 -
Transformer中到底做了什么?
Transformer中到底做了什么?Transformer在论文《Attention is All You Need》中被提出,后来应用于BERT,实现了深度文本语义预训练模型。参考代码如下:tensor2tensor githubbert github简单来说,transformer就是利用 self-attention 实现了在某个任务下句子中词与词的关联性。下面是根据ber...原创 2019-08-28 15:06:32 · 4889 阅读 · 0 评论