经典论文
文章平均质量分 86
搜广推、NLP方向的经典论文解读。
说文科技
同名公众号【说文科技】,做有态度的研究。
展开
-
【经典论文阅读10】MNS采样——召回双塔模型的最佳拍档
这篇发表于2020 WWW 上的会议论文,提出一种MNS方式的负样本采样方法。众所周知,MF方法难以解决冷启动问题,于是进化出双塔模型,但是以双塔模型为基础的召回模型的好坏十分依赖负样本的选取。为了解决Batch内负样本带来的选择性偏差问题,本文提出MNS方法融合了批采样和均匀采样。实验表明,配合这种负样本的采样的双塔模型的召回能力得到了明显提升。原创 2024-05-26 09:58:17 · 1313 阅读 · 1 评论 -
【经典论文阅读9】DSSM模型——开搜推算法先河:用点击数据训练深层模型
这篇发表于2013年CIKM上的搜索领域文章。核心思想就是两点:提出使用 clickthrough data 来训练deep structured semantic 模型。反复读后再回顾这篇文章,惊叹作者写作真好!结构相当清晰,逻辑非常流畅。标题里面的『 Deep Structure』对应在Introduction中的Hinton的研究路子;『using Clickthrough Data』则对应LSA模型的另外一条路子。现在来看这些思想已成规矩,在当年却是开创先河的存在!原创 2024-05-05 12:22:56 · 1256 阅读 · 1 评论 -
【经典论文阅读8】Deepwalk算法—基于随机游走的节点表示学习
word2vec使用语言天生具备序列这一特性训练得到词语的向量表示。而在图结构上,则存在无法序列的难题,因为图结构它不具备序列特性,就无法得到图节点的表示。deepwalk 的作者提出:可以使用在图上随机游走的方式得到一串序列,然后再根据得到游走序列进行node2vec的训练,进而获取得到图节点的表示。本质上deepwalk和word2vec思想相同,deepwalk算法的提出为图结构学习打开了新的天地。原创 2024-04-14 23:32:54 · 6591 阅读 · 4 评论 -
【经典论文阅读2】MF算法——推荐系统里的远古巨兽
这一篇由雅虎研究院和AT&T公司联合发表在IEEE的文章,翻开了推荐系统新的篇章。该团队提出使用矩阵分解(Matrix Factoriztion)的技术来实现商品推荐,而帮助MF算法一炮成名的舞台则是Netflix Prize competition,在这届机器学习的江湖大会上,再次证明了江湖上了一个道理:要想成为天下第一,首先得能干掉天下第一。毫无疑问,通过引入各种可以使用的隐式数据后,MF的RMSE降到了0.88以下!自此之后,推荐系统正式进入到矩阵分解时代。原创 2024-05-04 18:35:15 · 1171 阅读 · 0 评论 -
【经典论文阅读1】FM模型——搜推算法里的瑞士军刀
FM模型发表于2010年,它灵活好用且易部署。作者行文极其流畅,作者首先对要处理的问题进行了介绍,接着作者提出FM模型,这个模型与SVM的关键区别在于FM模型在稀疏数据上具备更好的性能。FM模型的底层思想就是用特征向量(可以看出本文已经初步具备embedding的思想)的点积代替简单的权重从而得到更好的权重表示,这种思想巧妙地绕开了稀疏数据的影响。现在FM模型仍然在搜推行业上发挥作用,对于业务刚起步的公司来说,它不仅效果好,而且性能强,故大多数人称之为搜索算法里的瑞士军刀。原创 2024-05-04 18:06:51 · 1224 阅读 · 0 评论 -
【经典论文阅读15】Transformer—铸就大模型时代的基石
弄清楚Transformer模型内部的每一个细节尤为重要原创 2020-10-28 09:36:01 · 6136 阅读 · 9 评论 -
【经典论文阅读20】BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
对BERT初学者常常疑惑的地方进行回答和总结,这九个点也是面试算法工程师时常问的一些点。原创 2020-08-19 17:54:26 · 4682 阅读 · 4 评论 -
【经典论文阅读3】YouTubeDNN—基于深度学习的搜推系统开山之作
YouTubeDNN是发表于2016年九月的文章,在搜索推荐仍然基于矩阵分解的时代,抛出了基于深度学习的召回排序模型,无异于朝平静的湖面扔出了一枚重磅炸弹。如大家所见,在这十年里,基于深度学习的搜推模型几乎已成圭臬。看到这里,你怎么还能说goggle不伟大?原创 2024-04-14 12:27:03 · 6842 阅读 · 4 评论 -
【经典论文阅读20】《Distilling the Knowledge in a Neural Network》
介绍Hinton写的蒸馏大作。原创 2023-07-16 20:37:22 · 1201 阅读 · 0 评论 -
源码解读系列之GAIN模型
不会找我!GDGN模型代码超详解原创 2021-12-15 20:11:16 · 2582 阅读 · 4 评论 -
论文阅读《Knowing False Negatives》
一种针对远监督关系抽取的对抗训练方式,同时结合了对比学习。感觉有点儿大杂烩的意思,但是文章写的还是很清楚的,作者思路比较清晰。原创 2021-09-28 23:33:11 · 485 阅读 · 0 评论 -
论文阅读《SPANNER: Named Entity Re-/Recognition as Span Prediction》
本文深度挖掘基于span预测的NER模型。在揭示span预测的模型效果优异之外,还从数个方面证明其可以作为一种system combiner的原因。结合丰富大量的实验,证明SpanNER是目前解决NER问题的sota方式。原创 2021-07-11 22:25:42 · 2394 阅读 · 3 评论 -
论文阅读《Extracting Multiple-Relations in One-Pass with Pre-Trained Transformers》
通过修改transformer的基础结构去解决Multiple Relation Extraction(MRE)中的Multiple Pass问题原创 2021-07-02 21:59:24 · 384 阅读 · 5 评论 -
论文阅读《TPLinker: Single-stage Joint Extraction of Entities and Relations Through Token Pair Linking》
信息抽取最新sota模型TPLinker阅读原创 2021-07-08 21:28:46 · 869 阅读 · 0 评论 -
论文阅读《Joint Extraction of Entities and Relations Based on a Novel Decompostion Strategy》
信息抽取论文阅读系列。本文提出了一种新的分解策略,将一个关系抽取任务分解成两个不同的子任务,然后使用序列标注的方法解决这个问题。原创 2021-07-08 20:44:23 · 506 阅读 · 0 评论 -
论文阅读《Understanding Procedural Text using Interactive Entity Networks》
论文阅读笔记:Understandintg Procedural Text using Interactive Entity Network原创 2021-03-15 10:32:54 · 528 阅读 · 0 评论 -
论文阅读《“The Boating Store Had Its Best Sail Ever”: Pronunciation-attentive ....》
双关语相关内容实现原创 2021-01-13 20:11:28 · 369 阅读 · 0 评论 -
论文阅读《Early Detection of Fake News by Utilizing the Credibility of News, Publisers,...》
如何高效的鉴别fake news?作者提出了一种联合publisher 和 user的图方式来构建一个jointly detection的模型SMAN。原创 2020-12-17 22:00:58 · 755 阅读 · 3 评论 -
论文该怎么阅读?
结合课程以及组会内容,总结阅读论文过程中需要注意的点,论文阅读不外乎四点:论文要解决什么问题?论文提出了什么方法?论文实验基于什么数据集?实验效果如何?原创 2020-12-11 21:18:32 · 504 阅读 · 2 评论 -
论文阅读《zero-shot word sense disambiguation using sense definition embedding》
LawsonAbs带你读《zero-shot word sense ...》一句话总结本文:结合KG知识,将离散的sense 标注信息更改为使用embedding来训练模型,从而得到更好的泛化效果。原创 2020-11-17 22:24:16 · 1115 阅读 · 7 评论 -
论文阅读《An Effective Transition-based Model for Discontinuous NER》
论文笔记+个人思考+代码实现原创 2020-11-08 21:05:59 · 1465 阅读 · 8 评论 -
论文阅读《TriggerNER: Learning with Entity Triggers as Explanations for Named Entity Recognition?》
如何使用较小的训练数据(但实际上标注的数据量级差不多相同)得到一个更好地模型?TriggerNER原创 2020-11-01 13:47:22 · 777 阅读 · 3 评论 -
论文阅读《FLAT:Chinese NER Using Flat-Lattice Transformer》
《FLAT: Chinese NER Using Flat-Lattice Transformer》阅读笔记。原创 2020-10-19 10:17:55 · 6701 阅读 · 15 评论