- 博客(12)
- 资源 (6)
- 收藏
- 关注
转载 Facenet Triplet Loss
TripletLoss在人脸识别中,Tripletloss被用来进行人脸嵌入的训练。如果你对tripletloss很陌生,可以看一下吴恩达关于这一块的课程。Tripletloss实现起来并不容易,特别是想要将它加到tensorflow的计算图中。通过本文,你讲学到如何定义tripletloss,和进行triplets采样的几种策略。然后我将解释如何在TensorFlow中使用在线...
2020-03-31 19:58:05 555
原创 Attention 总结(全)
1.self attentionSelf attention 在NLP中有很多的应用,对于它的作用,个人觉得是通过attention score,能够区分出文本的不同部分对最终的任务有不同的重要性,比如,对于文本的分类任务,不同的字/词对于任务是有不同的重要程度,Self Attention从《AttentionIsAllYouNeed》提出。具体过程可以参考《The I...
2020-03-30 00:27:57 1131
转载 Keras实现Self-Attention文本分类
一、Self-Attention概念详解Self-Attention详解了解了模型大致原理,我们可以详细的看一下究竟Self-Attention结构是怎样的。其基本结构如下对于self-attention来讲,Q(Query), K(Key), V(Value)三个矩阵均来自同一输入,首先我们要计算Q与K之间的点乘,然后为了防止其结果过大,会除以一个尺度标度,其中为一...
2020-03-29 22:02:18 1870
转载 完全图解GPT-2:看完这篇就够了(二)
在本系列文章的第一部分中,我们回顾了 Transformer 的基本工作原理,初步了解了 GPT-2 的内部结构。在本文中,我们将详细介绍 GPT-2 所使用的自注意力机制,并分享只包含解码器的 transformer 模型的精彩应用。选自http://github.io,作者:Jay Alammar,机器之心编译,参与:陈韵莹、Geek AI。第二部分:图解自注意力机制在前面的文章中...
2020-03-28 20:38:13 1197
转载 GPT对比GPT-2
前一阵子Bert火的一塌糊涂,本以为会占据顶峰很长一段时间,结果还没多久就出现的了GPT-2,它不仅效果显著,而且还解决了Bert无法解决的生成文本的问题,一下子跃上神坛~其实,GPT-2与GPT一样,都使用的是单向语言模型,那为何GPT-2的效果会如此惊人呢?惊人之处又体现在哪里呢?且听我慢慢道来~传送门GPT原文:https://s3-us-west-2.amazonaws.com...
2020-03-28 20:37:34 1983
转载 完全图解GPT-2:看完这篇就够了(一)
在过去的一年中,BERT、Transformer XL、XLNet 等大型自然语言处理模型轮番在各大自然语言处理任务排行榜上刷新最佳纪录,可谓你方唱罢我登场。其中,GPT-2 由于其稳定、优异的性能吸引了业界的关注https://zhuanlan.zhihu.com/p/79714797https://jalammar.github.io/illustrated-gpt2/选自http...
2020-03-28 17:42:35 4158 1
转载 基于控制主题的对话生成 相关论文总结
前 言在对话生成模型中,无论是目前应用广泛的seq2seq模型,还是各种GAN模型,都会存在生成的response和question之间语义关联性不强的问题。众多的NLPer从希望从多个角度去解决这个问题,其中基于主题的对话生成是被提及较多的方法。在近三年的论文和实际应用中,也取得了较好的结果。最近也看了一些相关的论文,在中文数据集上实验了一些模型,通过这篇文章对该方向的研究做一个简单的总结。...
2020-03-26 19:24:01 1074
转载 52 个深度学习目标检测模型汇总,论文、源码一应俱全!
目标检测作为计算机视觉中的一个重要分支,近些年来随着神经网络理论研究的深入和硬件 GPU 算力的大幅度提升,一举成为全球人工智能研究的热点,落地项目也最先开始。纵观 2013 年到 2020 年,从最早的 R-CNN、OverFeat 到后来的 SSD、YOLO v3 再到去年的 M2Det,新模型层出不穷,性能也越来越好!本文将完整地总结 52 个目标检测模型极其性能对比,包括完备的文献...
2020-03-25 19:54:24 333
转载 对话系统中的槽和槽位
基本概念:1、槽可以理解为实体已明确定义的属性,例如打车中的,出发地点槽,目的地槽,出发时间槽中的属性分别是“出发地点”、“目的地”和“出发时间”2、语义槽是指NLU模块从句子中抽取出的特定概念3、填槽指的是为了让用户意图转化为用户明确的指令而补全信息的过程4、槽填充则可以看做是序列标注问题,即对于给定的句子中的每个词分别打上相应的标签5、填槽的专业表述:从大规模的语料库中抽取...
2020-03-25 14:14:36 1344
转载 详解sigmoid与softmax, 多分类及多标签分类
https://blog.csdn.net/uncle_ll/article/details/82778750#_194https://blog.csdn.net/leon_wzm/article/details/77650374使用softmax和sigmoid激活函数来做多类分类和多标签分类在实际应用中,一般将softmax用于多类分类的使用之中,而将sigmoid用于多标签分类之...
2020-03-23 23:29:05 7002
转载 AUC和线上点击率指标不一致
问题:深度模型相比LR模型,离线auc高于基线,线上ctr也高于,但是线上深度模型AUC低于基线。一般,线上样本存在bias,新模型去测试基线流量和实验流量,实验流量auc会高。分析:1 可能是auc失真,不同用户排序结果不可比使用gauc衡量2 用户auc分布实验曝光未点击较多分析2 去掉只曝光行为用户结论:auc在高分段实验更有优势3 浏览长度和双用户样本分布差异...
2020-03-23 11:44:34 818
原创 C++如何使用第三方库-以log4cpp为例
下载log4cpp-1.1.3.tar.gz#./configure#make#make installLD_LIBRARY_PATH=:$LD_LIBRARY_PATH:/usr/local/libexport LD_LIBRARY_PATH使用命令ldconfig -v后上述配置方可生效,在终端(ctrl+alt+t)中直接输入ldconfig -v,注意需要root权限(在...
2020-03-08 09:36:34 580
httpclient tutorial httpclient 指南
2018-03-08
mask rcnn paper
2018-03-07
Applying Deep Learning To Answer Selection
2018-03-07
Learning Phrase Representations using RNN Encoder–Decoder
2018-03-07
BPTT BackPropagation Through Time.pdf
2018-03-07
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人