自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

用思想、知识和音乐去影响和改变

  • 博客(12)
  • 资源 (6)
  • 收藏
  • 关注

转载 Facenet Triplet Loss

TripletLoss在人脸识别中,Tripletloss被用来进行人脸嵌入的训练。如果你对tripletloss很陌生,可以看一下吴恩达关于这一块的课程。Tripletloss实现起来并不容易,特别是想要将它加到tensorflow的计算图中。通过本文,你讲学到如何定义tripletloss,和进行triplets采样的几种策略。然后我将解释如何在TensorFlow中使用在线...

2020-03-31 19:58:05 555

原创 Attention 总结(全)

1.self attentionSelf attention 在NLP中有很多的应用,对于它的作用,个人觉得是通过attention score,能够区分出文本的不同部分对最终的任务有不同的重要性,比如,对于文本的分类任务,不同的字/词对于任务是有不同的重要程度,Self Attention从《AttentionIsAllYouNeed》提出。具体过程可以参考《The I...

2020-03-30 00:27:57 1131

转载 Keras实现Self-Attention文本分类

一、Self-Attention概念详解Self-Attention详解了解了模型大致原理,我们可以详细的看一下究竟Self-Attention结构是怎样的。其基本结构如下对于self-attention来讲,Q(Query), K(Key), V(Value)三个矩阵均来自同一输入,首先我们要计算Q与K之间的点乘,然后为了防止其结果过大,会除以一个尺度标度,其中为一...

2020-03-29 22:02:18 1870

转载 完全图解GPT-2:看完这篇就够了(二)

在本系列文章的第一部分中,我们回顾了 Transformer 的基本工作原理,初步了解了 GPT-2 的内部结构。在本文中,我们将详细介绍 GPT-2 所使用的自注意力机制,并分享只包含解码器的 transformer 模型的精彩应用。选自http://github.io,作者:Jay Alammar,机器之心编译,参与:陈韵莹、Geek AI。第二部分:图解自注意力机制在前面的文章中...

2020-03-28 20:38:13 1197

转载 GPT对比GPT-2

前一阵子Bert火的一塌糊涂,本以为会占据顶峰很长一段时间,结果还没多久就出现的了GPT-2,它不仅效果显著,而且还解决了Bert无法解决的生成文本的问题,一下子跃上神坛~其实,GPT-2与GPT一样,都使用的是单向语言模型,那为何GPT-2的效果会如此惊人呢?惊人之处又体现在哪里呢?且听我慢慢道来~传送门GPT原文:https://s3-us-west-2.amazonaws.com...

2020-03-28 20:37:34 1983

转载 完全图解GPT-2:看完这篇就够了(一)

在过去的一年中,BERT、Transformer XL、XLNet 等大型自然语言处理模型轮番在各大自然语言处理任务排行榜上刷新最佳纪录,可谓你方唱罢我登场。其中,GPT-2 由于其稳定、优异的性能吸引了业界的关注https://zhuanlan.zhihu.com/p/79714797https://jalammar.github.io/illustrated-gpt2/选自http...

2020-03-28 17:42:35 4158 1

转载 基于控制主题的对话生成 相关论文总结

前 言在对话生成模型中,无论是目前应用广泛的seq2seq模型,还是各种GAN模型,都会存在生成的response和question之间语义关联性不强的问题。众多的NLPer从希望从多个角度去解决这个问题,其中基于主题的对话生成是被提及较多的方法。在近三年的论文和实际应用中,也取得了较好的结果。最近也看了一些相关的论文,在中文数据集上实验了一些模型,通过这篇文章对该方向的研究做一个简单的总结。...

2020-03-26 19:24:01 1074

转载 52 个深度学习目标检测模型汇总,论文、源码一应俱全!

目标检测作为计算机视觉中的一个重要分支,近些年来随着神经网络理论研究的深入和硬件 GPU 算力的大幅度提升,一举成为全球人工智能研究的热点,落地项目也最先开始。纵观 2013 年到 2020 年,从最早的 R-CNN、OverFeat 到后来的 SSD、YOLO v3 再到去年的 M2Det,新模型层出不穷,性能也越来越好!本文将完整地总结 52 个目标检测模型极其性能对比,包括完备的文献...

2020-03-25 19:54:24 333

转载 对话系统中的槽和槽位

基本概念:1、槽可以理解为实体已明确定义的属性,例如打车中的,出发地点槽,目的地槽,出发时间槽中的属性分别是“出发地点”、“目的地”和“出发时间”2、语义槽是指NLU模块从句子中抽取出的特定概念3、填槽指的是为了让用户意图转化为用户明确的指令而补全信息的过程4、槽填充则可以看做是序列标注问题,即对于给定的句子中的每个词分别打上相应的标签5、填槽的专业表述:从大规模的语料库中抽取...

2020-03-25 14:14:36 1344

转载 详解sigmoid与softmax, 多分类及多标签分类

https://blog.csdn.net/uncle_ll/article/details/82778750#_194https://blog.csdn.net/leon_wzm/article/details/77650374使用softmax和sigmoid激活函数来做多类分类和多标签分类在实际应用中,一般将softmax用于多类分类的使用之中,而将sigmoid用于多标签分类之...

2020-03-23 23:29:05 7002

转载 AUC和线上点击率指标不一致

问题:深度模型相比LR模型,离线auc高于基线,线上ctr也高于,但是线上深度模型AUC低于基线。一般,线上样本存在bias,新模型去测试基线流量和实验流量,实验流量auc会高。分析:1 可能是auc失真,不同用户排序结果不可比使用gauc衡量2 用户auc分布实验曝光未点击较多分析2 去掉只曝光行为用户结论:auc在高分段实验更有优势3 浏览长度和双用户样本分布差异...

2020-03-23 11:44:34 818

原创 C++如何使用第三方库-以log4cpp为例

下载log4cpp-1.1.3.tar.gz#./configure#make#make installLD_LIBRARY_PATH=:$LD_LIBRARY_PATH:/usr/local/libexport LD_LIBRARY_PATH使用命令ldconfig -v后上述配置方可生效,在终端(ctrl+alt+t)中直接输入ldconfig -v,注意需要root权限(在...

2020-03-08 09:36:34 580

httpclient tutorial httpclient 指南

httpclient 指南 包括了详细的调用和常用代码 The Hyper-Text Transfer Protocol (HTTP) is perhaps the most significant protocol used on the Internet today. Web services, network-enabled appliances and the growth of network computing continue to expand the role of the HTTP protocol beyond user-driven web browsers, while increasing the number of applications that require HTTP support. Although the java.net package provides basic functionality for accessing resources via HTTP, it doesn't provide the full flexibility or functionality needed by many applications. HttpClient seeks to fill this void by providing an efficient, up-to-date, and feature-rich package implementing the client side of the most recent HTTP standards and recommendations. Designed for extension while providing robust support for the base HTTP protocol, HttpClient may be of interest to anyone building HTTP-aware client applications such as web browsers, web service clients, or systems that leverage or extend the HTTP protocol for distributed communication.

2018-03-08

mask rcnn paper

We present a conceptually simple, flexible, and general framework for object instance segmentation. Our approach efficiently detects objects in an image while simultaneously generating a high-quality segmentation mask for each instance. The method, called Mask R-CNN, extends Faster R-CNN by adding a branch for predicting an object mask in parallel with the existing branch for bounding box recognition. Mask R-CNN is simple to train and adds only a small overhead to Faster R-CNN, running at 5 fps. Moreover, Mask R-CNN is easy to generalize to other tasks, e.g., allowing us to estimate human poses in the same framework. We show top results in all three tracks of the COCO suite of challenges, including instance segmentation, bounding-box object detection, and person keypoint detection. Without tricks, Mask R-CNN outperforms all existing, single-model entries on every task, including the COCO 2016 challenge winners. We hope our simple and effective approach will serve as a solid baseline and help ease future research in instance-level recognition. Code will be made available.

2018-03-07

Applying Deep Learning To Answer Selection

Applying Deep Learning To Answer Selection- A Study And An Open Task

2018-03-07

Learning Phrase Representations using RNN Encoder–Decoder

Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation

2018-03-07

BPTT BackPropagation Through Time.pdf

BPTT paper This report provides detailed description and necessary derivations for the BackPropagation Through Time (BPTT) algorithm. BPTT is often used to learn recurrent neural networks (RNN). Contrary to feed-forward neural networks, the RNN is characterized by the ability of encoding longer past information, thus very suitable for sequential models. The BPTT extends the ordinary BP algorithm to suit the recurrent neural architecture.

2018-03-07

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除