- 博客(15)
- 收藏
- 关注
原创 深度学习推荐系统-PLE模型
PLE模型是腾讯发表在RecSys ’20上的文章,这篇paper获得了recsys’20的best paper award,也算为腾讯脱离技术贫民的大业添砖加瓦了。
2024-09-28 10:56:01 794
原创 深度学习推荐系统-MMoE模型
共享底层网络:负责提取输入数据的通用特征,这些特征将作为后续门控网络和专家网络的输入专家网络:一组公用的网络,每个网络都是由全连接层构成,用于从不同维度捕捉输入向量的信息;门控网络:为每个任务学习一个门控网络,用于决定哪些专家网络对当前任务更为重要。门控网络的输出是一个权重向量,用于对专家网络的输出进行加权。特定任务网络:专家网络输出乘以各自任务门控网络的权重再进行求和,后分别进入不同任务网络,进行各自的任务学习针对多目标任务,通过专家网络学习多任务间的共性,通过加入门控网络学习单个任务的个性化;
2024-09-26 11:49:40 579
原创 Document-level Event Extraction (DEE)综述
想法最近在整理dee相关的文章,这里做一些整理,方便后续查阅。本文主要介绍3篇DEE相关的文章,主要想介绍核心的动机和创新点,对于细节,可以参看一下几个链接:https://blog.csdn.net/u011150266/article/details/118079286Document-level Event Extraction via Heterogeneous Graph-based Interaction Model with a Trackerhttps://blog.csdn.net
2022-03-27 12:57:47 2193
原创 Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks解读
摘要使用bert和roberta来计算句子相似度太耗时,本文作者提出sentence-bert,使用孪生或三生网络对bert pretrain 进行修整,在sentence embeddings methods上取得sota。介绍1 .bert计算句子相似度a.监督方法做法:合理使用bert结构,将上句和下句放入bert结构中,进行finetune 。BERT uses a cross-encoder: Two sentences are passed to the transformer net
2020-12-17 22:10:18 1018
原创 Out-of-Domain Detection for Low-Resource Text Classification Tasks 论文解读
介绍we propose an OODresistant Prototypical Network to tackle this zero-shot OOD detection and few-shot ID classification task.设计一种OOD-限制的原型网络去解决0样本OOD检测和少样本ID数据分类任务。相关知识OOD检测阐述了OOD检测的俩种思路,1.将OODtask定义为一个类目的分类问题,后使用SVM或者深度模型去解决 2提出基于auto-encoder方法解决。也有人
2020-12-05 20:30:12 691
转载 《Prototypical Networks for Few-shot Learning》阅读笔记
《Prototypical Networks for Few-shot Learning》来源:NIPS 2017原文链接:https://arxiv.org/abs/1703.05175在EMNLP 2018的论文《FewRel: A Large-Scale Supervised Few-Shot Relation Classification Dataset with State-of-the-Art Evaluation》中,作者提出了对于关系抽取任务的Few-Shot标注数据集,并且尝试了的几
2020-12-05 17:35:30 275
原创 LEARNING TO BALANCE: BAYESIAN META-LEARNING FOR IMBALANCED AND OUT-OF-DISTRIBUTION TASKS论文解读
LEARNING TO BALANCE: BAYESIAN META-LEARNING FOR IMBALANCED AND OUT-OF-DISTRIBUTION TASKS论文解读背景知识meta-learning智能的一个关键方面是多功能性——做许多不同事情的能力。当前的AI系统可以做到精通于某一项技能,但是,如果我们要求AI系统执行各种看似简单的问题(用同一个模型去解决不同问题),它将会变得十分困难。相反,人类可以明智地利用以往经验并采取行动以适应各种新的情况。因此我们希望 agent 能够像
2020-12-01 21:34:03 844
原创 A BASELINE FOR DETECTING MISCLASSIFIED AND OUT-OF-DISTRIBUTION EXAMPLES IN NEURAL NETWORKS论文解读
A BASELINE FOR DETECTING MISCLASSIFIED AND OUT-OF-DISTRIBUTION EXAMPLES IN NEURAL NETWORKS论文解读INSIGHT基于深度模型的 OOD Detection 的第一篇工作,简写为SMOOD(SoftMax OOD):该篇工作提出了一个基于深度模型的 OOD Detection baseline,后续的很多工作都是由此展开。主要的 insight 是:1.相比于错误分类的样本和 OOD 样本,分类正确的样本会得到更大
2020-12-01 20:51:32 1949 2
原创 Document Embedding Enhanced Event Detection with Hierarchical and Supervised Attention解读
创新点本文引入了文档特征来丰富token的信息,单纯依靠本句子的信息有时候未必足够,可以借助其他句子的信息来进行补充,主要就是结合文档级别的信息,加入到原本的ED任务中。具体建模方法如图1,红框就是补充的文档特征信息,最后与其他信息一起concat到LSTM模型中。但从实验结果来看(如图2),在ACE 2005上是所有方法中效果最好的。模型1.The EDODEL Module通过设计良好的分层和监督的注意机制,从单词和句子两个层次学习文档的分布式表示。2.The DEED Module根据
2020-05-17 21:36:36 597
原创 Sub-event detection from Twitter streams as a sequence labeling problem论文解读
核心:把子事件检测任务看成一个序列标注问题Sub-event detection 任务从一个社交流(streams)中检测出子事件创新点1.提出了一种新的神经网络基准模型,该模型在检测运动流中存在/不存在子事件的二元分类问题上的性能优于目前的水平2.考虑时间序列 在提出的基线模型的基础上,将子事件描述为一个序列标记问题模型代码总结...
2020-05-17 21:09:24 220
原创 Virtual Adversarial Training解读
对抗训练(Adversarial Training)和虚拟对抗训练(Virtual Adversarial Training),都可以作为正则化方法,来增强机器学习模型的鲁棒性。一.对抗训练GAN之父Ian Goodfellow在15年的ICLR中 第一次提出了对抗训练这个概念,简而言之,就是在原始输入样本 x 上加一个扰动 radv ,得到对抗样本后,用其进行训练。也就是说,问题可以被抽象成...
2020-03-29 00:05:17 3547 1
原创 conda pip python 安装常用口令
condawindows下常用指令:1.创建python版本为3.5的虚拟环境,命名为Python3conda create -n Python3 python=3.52.使用/激活/切换虚拟环境Python3activate Python33.在虚拟环境Python3中安装包如果已经在虚拟环境中,可以直接安装pip install XXX也可以使用conda命令安装到虚拟环境中...
2020-03-25 21:28:19 528
原创 Chinese NER Using Lattice LSTM 论文解读
Chinese NER Using Lattice LSTM 论文解读2020.3.19日,本人觉得学习的一些东西后,写点东西可以帮助我进行记忆,同时也为了后续复习使 用,以后每周至少分享一篇论文。背景传统的lstm网络可以用来实现ner,论文同时指出基于字(charactor)好于基于词(word)的词向量。但是词向量可以充分考虑上下文之间的关系,也就是说字的lstm+crf模型有一个局...
2020-03-19 21:48:58 642
原创 文本类情绪识别资料汇总
1.网上给的资料[https://blog.csdn.net/sinat_26917383/article/details/51321505TOC]2.https://download.csdn.net/download/qq_40989940/10856258 谭宋波酒店评论资料下载3.https://biendata.com/ccf_tcci2018/datasets/ 中国人工智能大赛数...
2019-03-26 13:49:16 1548
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人